概要

既存の動画超解像方法とは根本的に異なるフレームワークとして，動的にアップサンプリングフィルタや残差画像を生成するディープニューラルネットワークを新たに提案する．このアプローチにより，入力画像から直接高解像度画像を得ることができる．新しいデータオーギュメンテーション方法と大量の学習動画を用いることにより，SOTAなパフォーマンスを達成．

新規性・結果・なぜ通ったか？

図に示すように，提案手法はSOTA手法の一つであるVSRnetと比較して，チラツキが減少していることがわかる．さらにバイキュービック法やVSRnet，VESPCN等と比較し提案手法は，PSNR，SSIMの両方においても優れていることがわかった．

コメント・リンク集

• 論文URL

新規性・結果・なぜ通ったか？

多様体におけるテンソルの学習ができるようにした．実際やってみたら予想通り学習もうまくいった．

コメント・リンク集

• マニフォールド（多様体）局所的にはユークリッド空間とみなせるような空間．地球は丸いけど住民にとっては平面．

• リーマン多様体（超粗く言うと）隣は次どっちにどれだけ離れてるかという情報が定義されている多様体．多様体の基本の表し方の一つ．

• 論文

概要

• Visual relationship検出タスクの新たなend-to-endパイプラインを提案した．提案手法が学習データからtensorial representationを探索し，またそれからrelational priorを求める． relational priorにより有効的にrelationship検出学習のpriorとして用いられる．
• 従来のVisual relationship用学習データセットのrelationshipがスパースで，学習データから潜在的な関係を学習するのが困難である．このようなスパースな学習relationshipから有効的にrelational priorを導く非学習型の手法(numerical線形代数をベースとした手法)を提案した．
• また，提案のVisual relationship検出パイプラインは①入力がぞうからバウンディングボクス，関係などを検出②提案の学習済みrelational priorを利用し，scene graph learningを用いた手法を用いてオブジェクト及び関係を予測する．

新規性・結果・なぜ通ったか？

• Relationshipsがスパースな学習データセットからrelational priorを有効的に求める手法を提案した．
• 提案のrelational priorを用いたらVisual GenomeデータセットのScene graph予測タスクでSoTAなパフォーマンスを得られた．

コメント・リンク集

• スパースな関係（1%,2%以下）を有効的にrepresentできる代数ベースな手法の提案．詳細は良く理解できていなかった．
• 論文

概要

• Visual Groundingタスクに用いられる新たなattentionメカニズムA-ATTを提案した．VGタスクのattentionを①query attention②image attention③objects attentionに分解し，累積をベースとした手法でこの三つのattentionを求める．
• 従来のVGタスクは画像・query・objectsの情報をまとめて取り扱うので， 情報が冗長になるという問題がある．そこで，著者達がVGタスクを３つのサブタスク，①クエリ中の主目的の判別②画像中のコンセプトの理解③関連性が最も高い物体の定位，に分解した．また，この３つのサブタスクを３種類のattention問題として取り扱う．具体的には，A-ATT attentionメカニズムを提案し，それにより累積的に３つのattentionを求め，異なる累積の段階でattentionをリファインする．これによりノイズなどに対してロバストになる．

新規性・結果・なぜ通ったか？

• 提案のA-ATTメカニズムによりノイズ，冗長性などが異なる累積段階で影響が減っていく．また，このメカニズムにより提案手法が幅広いタイプのクエリに対応できる．
• ReferCOCO, ReferCOCO+,ReferCOCOg,Guesswhat?!の4つのデータセットにおいてSoTAな精度を得られた．

コメント・リンク集

• 提案のA-ATTメカニズムはVQAにも使えそう．
• 論文

概要

• VQAタスクに用いられる新たなattentionメカニズムdifferential attentionを提案した．これにより，人間のattentionにより近いattentionを得られる．
• 従来のVQA手法でもattentionが広く用いられるが，人間のattentionに関連性が低かった．そこで，認知心理学に広く用いられるexemplarベースな手法を用いてsupporting, opposing exemplarsによりdifferential attention領域を求める．具体的には，①入力画像，質問からreference attention embeddingを求める．②このembeddingによりデータベースから順序を求め，現在の入力と近いsupporting exemplar及び遠いsupporting exemplarを求める．③これらexemplarと入力からdifferential attention vectorを求める．

新規性・結果・なぜ通ったか？

• VQAタスクにexemplar based approachという新たな視点をもたらした．また，提案したdifferential attentionが人間のattentionにより近いことを示した．
• VQA1.0，VQA2.0，HATなどのデータセットにおいてimage attentionベース手法の中で最も良い精度を達成し，Image-Question attentionベース手法と近い精度が得られた．

コメント・リンク集

• 認知心理学の知見をVQAタスクに応用した例．今後も人間のattentionを詳細に検討するべきだと思う．
• 論文

概要

• Dense Video Captioningにおける２つの課題，コンテキスト融合，イベント表現における新たな提案．コンテキスト融合において，過去と将来のコンテキストを利用しevent proposalの予測を行う．また，event descriptionsのdecoderへのより有益な情報を含む入力の作り方を提案した．
• 従来のdense video captioningでは主にforward方向でevent proposalを予測するが，著者らは過去と将来のコンテキストからevent proposalを予測できるbidirectional proposal手法を提案した．また，異なるeventが同じ時間に終了する場合，従来手法では正しく対応できないが，著者らはイベントを動画特徴の隠れ状態のattentive fusionにより表示し，その問題を対応できるようにした． また，動的に現在のイベントと周囲のコンテキストのバランスを取るcontext gatingメカニズムを提案した．

新規性・結果・なぜ通ったか？

• 提案手法のproposalとcaptioningモジュールを従来のフレームワークに適応することで，ActivityNet Captions datasetにおいてSoTAな表現を達成した．(Meteor scoreを4.82から9.65にアップした)

コメント・リンク集

• Bidirectionalも最近よく見られるワード．
• 論文

概要

• VQAタスクに用いられるVisual Knowledge Memory Network(VKMN) を提案した． VKMNは人間の知識と深層視覚特徴をメモリーネットワークにより結合し，VQAの精度を向上できる．
• 自然言語処理のテキストベースなQAタスクに用いられる方法から，確立済みの視覚の知識に基づくVKMNを提案した．①Apparent object(答えが画像から直接読める);②Indiscernible(答えが画像中で小さい);③Invisible objectiveの(直接画像から答えられない)3種類の画像―結果の関係を定義した．また，VKMNはknowledge triples(subject, relation, target)と視覚特徴をvisual knowledge featureにembeddingする．

新規性・結果・なぜ通ったか？

• VQA1.0,VQA2.0において良い結果を達成し，knowledge-reasoningの関係性の質問に対してSoTAな結果を得られた．

コメント・リンク集

• 自然言語処理系のQAに関する知識をVQAに用いることがセンスある．また，従来のV，Qに向けて様々なVQA方法が提出され，knowledge representationのあたりに力を入れるのも良い方向だと思う．
• 論文

概要

既存の動画超解像方法とは根本的に異なるフレームワークとして，動的にアップサンプリングフィルタや残差画像を生成するディープニューラルネットワークを新たに提案する．このアプローチにより，入力画像から直接高解像度画像を得ることができる．新しいデータオーギュメンテーション方法と大量の学習動画を用いることにより，SOTAなパフォーマンスを達成．

新規性・結果・なぜ通ったか？

図に示すように，提案手法はSOTA手法の一つであるVSRnetと比較して，チラツキが減少していることがわかる．さらにバイキュービック法やVSRnet，VESPCN等と比較し提案手法は，PSNR，SSIMの両方においても優れていることがわかった．

コメント・リンク集

• 論文URL

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく． ======= <<<<<<< HEAD

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく． =======

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく． >>>>>>> master >>>>>>> Stashed changes

• 学習ベースのハッシングにおいてバイナリ制約の緩和の悪影響の最小化を実現

• 論文

概要

バイオメディカルアプリケーションにおいて，人間の血液中の細胞を検出，測定，分類は重要である．しかし，広範囲に及ぶ細胞の変動や画像を使用した診断にも解像度の限界があるため非常に難しいタスクとなっている．そこで本稿では，ホログラフィックイメージにおける白血球の検出，測定，分類に新たな手法を提案した．具体的には細胞集合の確率生成モデルをベースとしている．それぞれのクラスのテンプレートは血液の細胞についての静的な分布情報から作られる． 分布についてのパラメータは，患者から得た血液の情報（実際に数えた結果？），セルテンプレートは辞書形学習を拡張させたものを使ってセル分類のクラスから得たセルの画像で学習している．

結果

実際に20の正常な血液サンプルと12の正常でない血液サンプルを使って実験しており，従来手法ではエラーが30%ほどに対し，提案手法ではを6.8%以下に抑えた．

コメント・リンク集

• CVPR 2018 open access

概要

眼カメラで撮影した動画をデプス推定する論文．従来のデプス推定では，CNN姿勢予測器を用いてデプス予測を行っているが，従来までの手法だけでは単眼カメラで撮影した動画のデプス予測に最適な手法ではない．そこで本稿ではDirect Visual Odometryを改良したDDVO，Pose-CNN，DDVO＋Pose-CNNの3つの手法を用いて姿勢予測し，さらにデプスを教師なし学習で推定する手法を提案している． 構造としては一度の入力に3つの連続した画像 I1，I2，I3を使用する．それらの入力からまずI1，I3からデプスの逆数の値を取ったinverse depth mapと，すべての画像の姿勢推定を行い，I2とそれ以外の画像の姿勢の関係性を推定する．そしてI2とI1，I3とのwarped imageの相違性を比較しロスを求め評価する．

結果

実験の評価方法としてKITTIデータセットを使用しており，従来手法と比較し，単眼カメラで撮影した動画でありながら，提案手法のPose-CNN+DDVOを使用したものが最も高い評価値である．

コメント・リンク集

• arxiv

概要

モバイルカメラなどで実際に撮影したレシートや文章などの歪んだ画像をフラットな画像に修正するネットワークを考案．手法としてはセマンティックセグメンテーションに似ており，画素単位で判別していく． ネットワークアーキテクチャとしては2組のU-Netを用いて実現している． 1つ目のU-netでは逆畳み込み層部分を分割して，特徴マップを抽出したものとフォワードマップy1を出力する． これらを合成して2つ目のU-netの入力にする．2つ目のU-netではフラットな画像に修正した画像1枚を出力する． この処理をLossが小さくなるまで繰り返し行う． <<<<<<< Updated upstream 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である．しかしテクスチャを使った地形認識では，例えば"grass"と"leaves"は似ているために間違った認識がされることがある． 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である．しかしテクスチャを使った地形認識では，例えば"grass"と"leaves"は似ているために間違った認識がされることがある． そこで地形認識のためのDeep Encoding Pooling Network (DEP)を提案した． 事前に学習したCNNを特徴抽出器として利用し，CNNからの出力をtexture encoding layerとglobal average pooling layerに送る． texture encoding layerではテクスチャのdetailを持ちつつ，global average pooling layerが持っていたローカル空間情報を出力する． 30000枚以上の画像を40クラスに分類したGTOSデータセットで学習し，よりリアルな条件下で評価するために，テストデータには携帯のビデオで撮影した81個のビデオをasphaltやsandなどの31クラスに分類したGTOS-mobileデータセットを作成した. ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している．

結果

ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． ======= <<<<<<< HEAD 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である.しかしテクスチャを使った地形認識では, 例えば"grass"と"leaves"は似ているために間違った認識がされることがある. ======= 評価方法としては実際にモバイルカメラを用いて論文などのプリントを撮影した画像とそのプリントをスキャンしてGround truthにしたものを90Kほど用いてトレーニングを行っている．

結果

折れ曲がっている部位や極度に撮影の仕方が悪いものは歪んでしまっているが，それでも文字が読み取れるレベルまで画像が修正できている．

コメント・リンク集

• CVPR 2018 open access

概要

地形認識はロボット分野や自動運転に対し重要な処理である.しかしテクスチャを使った地形認識では, 例えば"grass"と"leaves"は似ているために間違った認識がされることがある. >>>>>>> master そこで地形認識のためのDeep Encoding Pooling Network (DEP)を提案した. 事前に学習したCNNを特徴抽出器として利用し，CNNからの出力をtexture encoding layerとglobal average pooling layerに送る． texture encoding layerではテクスチャのdetailを持ちつつ，global average pooling layerが持っていたローカル空間情報を出力する． 30000枚以上の画像を40クラスに分類したGTOSデータセットで学習し、よりリアルな条件下で評価するために，テストデータには携帯のビデオで撮影した81個のビデオをasphaltやsandなどの31クラスに分類したGTOS-mobileデータセットを作成した. <<<<<<< HEAD ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している

結果ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． ======= ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している

結果ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． >>>>>>> master >>>>>>> Stashed changes ネットワークの評価はGTOS-mobileだけでなくMINCやDTDも使用し評価している．

結果

ランダムに10000枚の画像を選び，ResNetや著者たちの従来手法であるDeep TENと提案手法で識別させ比較すると，提案手法がもっとも分類がうまくいっている．

実際にテストデータにGTOS-mobileを使用した結果も，ResNetやDeepTENより2~5%ほど精度が向上している．

リンク集

• arxiv
• demo1(youtube)
• demo2(youtube)

概要

品種などの微妙な違いでカテゴリを区別されるような細かい画像のクラス分けは膨大なカテゴリ分けの高いコストにより難しいタスクとなっている．これにより起こるトレーニングデータの不足に対処する研究として以下の二点が存在する． (1)人のアノテーションが加わっていないフリーなウェブイメージを利用． (2)Zero-shot Learning(ZSL)を利用． しかし，(1)ではウェブイメージにラベルノイズ付きが多いこと，(2)ではZSLは未だに従来の学習に比べて精度が良くないという問題点が存在する． そこでウェブイメージと補助的なラベルデータを用いてトレーニングデータに関連付けられていないテストカテゴリを予測するフレームワークを提案した． <<<<<<< Updated upstream 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． それらを入力とし，sub-viewごとに顕著生マップ（Saliency map）とオブジェクト検出から前景と背景を分けると同時に直線検出（Line segment detection）を行いパノラマ画像を解析し，geometric cueとsemantic cueを推定する． これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 ======= <<<<<<< HEAD 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． それらを入力とし，sub-viewごとに顕著生マップ（Saliency map）とオブジェクト検出から前景と背景を分けると同時に直線検出（Line segment detection）を行いパノラマ画像を解析し，geometric cueとsemantic cueを推定する． これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 ======= 評価にはZSLの評価にもよく使われる3つのデータセット，CNB, SUN, Dogsを使って評価している．

結果

従来手法（特にZSL）に比べ格段に精度が上昇している．

コメント・リンク集

• cvpr openaccess

概要

室内の2Dパノラマ画像1枚から3Dモデルを推定する研究．本稿ではパノラマ画像から18視点の画像（パノラマの中心点から対象を普通に撮影したような画像），sub-viewを生成する． それらを入力とし，sub-viewごとに顕著生マップ（Saliency map）とオブジェクト検出から前景と背景を分けると同時に直線検出（Line segment detection）を行いパノラマ画像を解析し，geometric cueとsemantic cueを推定する． これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 >>>>>>> master >>>>>>> Stashed changes これらから地面の推定，オクルージョンの推定を行い，形状の復元を行う．

結果

FAROとsyntheticデータセットを使って評価した結果，背景とオブジェクト検出におけるdepth cosine distanceが従来より最先端な結果となった．

リンク

• paper
• Project page

概要

Multi-layer light field 3D display のための depth calibration の研究. Saliency の高い領域を推定し, その領域の深度を可能な限り表現出来るように calibration することで, Multi-layer light field 3D display の持つ深度表現の制限の元で知覚的に最適化された depth calibration を行う手法を提案. 主観評価実験では既存手法よりも最低でも12%以上良いという結果を達成.

新規性・結果・なぜ通ったか？

• 知覚的に最適化された Multi-layer light field 3D display のための depth calibration の研究
• 深度や色の contrast に基づいて saliency の高い物体を推定する contrast enhanced salience detection を提案
• Contrast enhanced salience detection によって light field capture region の中で高い saliency をもつ物体を推定
• 高い saliency を持つと推定された物体を multi-layer LCD の copressive display depth region に優先的に投影する
• Saliency detection の精度を評価するために　public light field dataset　を用いて行った評価実験では, SOTAを達成
• 主観評価実験（12名）では既存手法よりも最低でも12%良いという結果

コメント・リンク集

• [論文] Salience Guided Depth Calibration for Perceptually Optimized Compressive Light Field 3D Display

概要

Compressive sensing (CS) reconstruction の研究. 従来の Iterative Shrinkage-Thresholding Algorithm (ISTA) のイテレーションを end-to-end で学習可能なネットワークに置き換えた, ISTA-Net を提案. 評価実験では幅広い CS Rate において既存の最適化に基づく手法とネットワークに基づく手法の両者よりも優位な結果を達成した.

新規性・結果・なぜ通ったか？

• 高速かつ正確な compressive sensing (CS) reconstruction のアーキテクチャ ISTA-Net を提案
• 線形逆問題を解くためのアルゴリズムである Iterative Shrinkage-Thresholding Algorithm (ISTA) を Neural Network でモデル化
• ISTA-Net では畳み込みと ReLU を組み合わせることで非線形の変換を学習（end-to-end でパラメータの学習が可能）
• 評価実験では, TVAL3, D-AMP, IRCNN, SDA, ReconNet と比較を行い, 全ての CS Rate で優位な結果を示した
• 計算速度は GPU を使用して, 25FPS 程度 (ReconNet は 62.5FPS)

コメント・リンク集

• [論文] ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
• [Code] GitHub

概要

アノテーションには対象領域を矩形で囲むのとその確認作業の2つのステップがある。画像がシンプルで検出領域の信頼性が高い場合は手作業で矩形を付ける作業を行わず、確認作業のみを行ったほうが時間を短縮できる。一方、検出領域が小さく、数多くあると確認作業に時間がかかってしまうため、手作業で矩形をつけたほうがよい。このように画像ごとに最適なアノテーション戦略を練る必要があり、Intelligent Annotation Dialogs (IAD) はこの手助けをする。本論文では2つのIAD手法が提案されている。1つ目は検出領域がアノテーターに受け入れられる確率を考慮して、アノテーション時間をモデル化することで最適化する。2つ目はモデリングを行わず、強化学習により最適な戦略を見つける。

新規性・結果・なぜ通ったか？

物体検出等において精度の高いアノテーションは重要であるがそのコストは高いままである中で、IADを利用することにより既存手法に比べてアノテーション時間を短縮できると示した。

コメント・リンク集

**論文

概要

Object retrievalにおけるManifold searchの計算コストをEuclidean searchまで下げるためのembeddingを提案した。nodeが特徴量に対応するものをグラフとして扱い、観測ベクトルyから類似度を表すランキングベクトルxを予測する線形システムを扱う。

新規性・結果・なぜ通ったか？

10^5オーダーの数ある画像に対して、オフラインプロセスを2,3時間で、オンラインプロセスは従来手法と同等に処理することが可能に。精度は従来手法と同程度である。 mAPはrank-1kあたりで収束している。

コメント・リンク集

グラフ理論の知識があるともっと読みやすくなる？

• 論文

概要

DNNに対して活性化や最終層の出力を確率分布で置き換えるモデルを提案。DNNでは要所要所で確率モデルを使用しているが、多くのモデルでは活性化や最終層の出力はサンプリングに終わっている。一方でfull Bayesian networksではパラメタ自体を確率分布に置き換えているが、テストの実行に長い時間がかかってしまう。提案手法ではネットワークの最終層の出力を確率分布で置き換えるprobabilistic output layers (ProbOut)と、assumed density filtering(ADF)を導入することで活性化を確率分布で置き換える2つの方法を提案。これを既存のネットワークに組み込むことで、テスト時の実行速度を落とすことなく識別・回帰の両タスクで高い精度を実現。特に識別ではディリクレ分布に基づく出力を行うモデルを提案。

新規性・結果・なぜ通ったか？

• オプティカルフローの回帰をベースモデルFlowNetで行なった。{最終層の出力のみ, 活性化}を確率的な分布に置き換えたFlowNet{ProbOut, ADF}と、FlowNet、確率モデルのベースラインとしてFLowNetにGaussian dropoutをボトルネックに加えたFlowNetDropOutと比較
• Endpoint errorにおいてもっとも高い精度を達成し、テスト時の実行スピードはFlowNetADF/ProbOutそれぞれで38/101fpsとなり、FLowNetの106fpsよりも遅いものの、FlowNetDropOutの3fpsよりも高速に実行可能。
• CIFAR10とMNISTの識別をAll-CNN-Cをベースモデルとした。
• 提案手法であるADF、ProbOut+ディリクレ分布に基づいた最終層の出力を用いたモデルがもっとも高い精度を達成。
• 最終層をsoftmaxにした場合と提案手法によるDirichlet output layerにおけるクロスエントロピーロスと推定時のカテゴリのエントロピの考察を行い、後者の場合に置いて強いそうかんが得られたため、Dirichlet output layerの有用性を主張。
• DIFAR-10におけるadversarial attackへの頑健性において比較モデルよりも高い精度を達成。

コメント・リンク集

• 通常のDNNとfull Bayesian networksの中間的な確率的モデル表現を暑かったDNN。今後はこのような確率的な表現が増えていく？
• 論文
• Supplementary material
• 参考 Tractable Inference for Complex Stochastic Processes (assumed density filtering, ADF)

概要

ボトムアップに Scene Text Detection を行う手法を提案. 物体検出を Stochastic Flow Graph のクラスタリングとして定式化した. ボトムアップな手法の恩恵として, スケールや回転に頑強になると共に, 並列化による高速化が可能となった. 評価実験では MSRA-TD500 dataset で SOTA を達成し, かつ既存手法の1.5倍(34FPS)高速に動作.

新規性・結果・なぜ通ったか？

• 入力画像は Markov Clustering Network (MCN)によって Stochastic Flow Graph (SFG) に変換される
• SFG のノードは格子上に並んでおり, 物体は強く結合したノードとしてモデル化される（SFGは物体の局所的な相関関係やsemanticな情報をencodeしている）
• SFG にマルコフクラスタリングを適用し, 各クラスター毎に Bounding Box を生成する
• ボトムアップな手法のため, 物体のスケールや回転に頑強かつ並列化による高速化が可能
• ICDAR 2013, ICDAR 2015 and MSRA-TD500 を用いて評価実験を行った
• MSRA-TD500 dataset では SOTA を達成し, その他の dataset でも既存手法と同等の精度を達成
• 速度については同等の精度の既存手法（TextBoxやCTPN）と比較して1.5倍程度高速化（34FPS）

コメント・リンク集

• [論文] Learning Markov Clustering Networks for Scene Text Detection

概要

stero matching に用いる mathching volume の推定を学習データに依存せずに, ロバストに行うモデルを提案. ４つの matcher から得られた　mathching volume から確信度の高い部分(確信度の計算は双方向から行う)をそれぞれ抽出し, random forest classifier を用いて最終的な mathching volume の生成を行う. 評価実験では MC-CNN と同等の高い精度を達成すると共に, 高い汎化性能を確認した.

新規性・結果・なぜ通ったか？

• mathching volume の推定を学習データに依存せず, ロバストに行うモデルを提案
• Census, NCC, ZSAD, SOBEL の４つの matcher を使用して得られた, それぞれの mathching volume から確信度の高い部分を抽出（確信度の計算は双方向から行う）
• 抽出された confidence volume に対して random forest classifier を適用して最終的な mathching volume を生成
• Middelebury 2014, KITTI 2012, 2015, ETH3D を用いて評価実験を行った
• Middelebury 2014 では純粋にdata-drivenな手法（MC-CNN）と同等の精度を達成
• Middelebury 2014 で学習したモデルを用いて, ETH3D で SOTA を達成 (高い汎化性能)

コメント・リンク集

• [論文] CBMV: A Coalesced Bidirectional Matching Volume for Disparity Estimation
• [Code] GitHub

概要

Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化. DNNを用いて, 画像の特徴量マップと各画素のアトリビュートを同じ計量空間に射影し, アトリビュートが射影された点をアンカーとして最近傍探索によって新しい saliency map を得る. ECSSD や PASCAL-S など５つのベンチマークで評価を行いSOTAを達成した.

新規性・結果・なぜ通ったか？

• Image-specific な saliency map を得るために, 既存の saliency detector を強化する問題を zero-shot learning として定式化
• DNN を各画素値とアトリビュート（サンプリング）を同一の計量空間に射影する, 埋め込み関数として学習させる
• 計量空間ではアトリビュートをアンカーとして最近傍探索によって, 新しい saliency map を得る
• 上記によって得られた saliency map を再度 DNN の入力とすることで, 再帰的に saliency map を更新（Test時は最初の入力として既存手法によって作成された saliency map を使用)
• ECSSD, PASCAL-S, HKU-IS, SOD, DUTS の5つのデータセットを用いて評価実験を行った (MAE で測ってSOTAを達成)

コメント・リンク集

• [論文] Learning to Promote Saliency Detectors

概要

Multi-view stereo（MVS）による3次元再構成の問題を取り扱う。事前確率による画像パッチにより少量のデータで3次元形状を復元、より高速な処理を可能とした。右図のように3次元再構成を行うために重要なデータを予め抽出することで16%のデータで約6倍高速にMVSによる3次元データを復元するに至った。ニューラルネットベースの手法（I2RNet）やDepthから3次元復元のための重要なデータを選定。

新規性・結果・なぜ通ったか？

MVSにて事前確率（w/ Depth, I2RNet）を用い少量の重要なデータを用いることで高速な3次元復元を可能とした。

コメント・リンク集

VRに有効に見える。Oculus Researchからの研究。

• 論文
• Project

概要

動画像の入力から非剛体に対するSfM（Non-Rigid Structure-from-Motion）に対して再帰的に繰り返し動的行動を復元できる新しい手法を考案する。非剛体の形状変化は再帰的になる傾向があるという性質を利用して形状復元を実施した。この性質を用いると、従来の剛体形状復元の方法をほぼ改編しなくても同じようなモデルで復元を可能とした。右図は再帰性を用いた非剛体推定の例である。フレームによりほぼ同じ姿勢が表れており、この知識を用いると剛体推定と同じような枠組みで非剛体を推定できる。

新規性・結果・なぜ通ったか？

再帰的な動作を捉えることで、従来の剛体推定とほぼ同じモデルで動画からの非剛体推定ができるという知見を与えた（ことが大きな貢献であり、採択された理由である）。

コメント・リンク集

この知見面白い！よく思いついた、実装したと思います。

• 論文
• 著者

概要

カメラ姿勢の中でも角度が既知であるというStructure-from-Motion（SfM）の中でも特殊な問題を扱う。再投影誤差（Reprojection Errors）に関してMini-Max問題を想定し、この問題について擬似凸プログラミング問題（Pseudo-Convex Programming）として解決する。従来では非常に処理時間がかかる同問題に対して、本論文では（比較的）大規模なデータにおいて高速化を図った。最適化の更新処理においてMinimum Enclosing Ball (MEB)を用いることでメモリ低減と同時に高速化を実現した。

新規性・結果・なぜ通ったか？

SfMにおいても特殊と言われる、カメラ角度が既知の状態における擬似凸最適化の問題で、繰り返し最適化手法を考案することで比較的大規模な問題において高速な演算を行うことに成功した。

コメント・リンク集

SfMの問題設定、カメラ角が既知の場合てどんな場面だろう？？どんなシステムを想定した場合既知なのでしょうか。

• 論文

概要

剛体の3次元点群のレジストレーション（位置合わせ）を行うための手法Inverse Composition Discriminative Optimization（ICDO）を提供する。従来のICPはローカルの位置合わせに着目しているために、局所最適解に陥りやすく初期値やアウトライアに依存して位置合わせが失敗してしまう。提案手法であるICDOでは合成トレーニングデータにより学習を行い、繰り返し最適化を行うことでより全体的な最適解に近づけるという戦略を取っている。（本手法はDOの拡張であると位置付けている）

新規性・結果・なぜ通ったか？

3次元点群の位置合わせ問題において、合成データを用いて学習を行うことにより、全体最適解に合わせやすくした。従来法であるDOの拡張であると主張していて、学習した物体に依存するDOに対してICDOでは物体に依存せず全体最適解に位置合わせすることができる。

コメント・リンク集

学習がどの程度よくなるかは不明だが、高速かつ高精度な3次元点群処理が進むとよいです！（あとより簡単だとよい）

• 論文
• Project

概要

Structure-from-Motion（SfM）やカメラ位置推定の一種である6DOFの姿勢推定の問題について取り組む。大抵の場合、中心座標（Principal Point）は画像の中央と決めているが、ここでは対応する4.5点（P4.5Pfuv）を基にして中心座標や焦点距離を推定する。さらにはアスペクト比を5点対応から、中心座標とレンズディストーションを7点対応から推定する。

新規性・結果・なぜ通ったか？

カメラ行列に関して多項式の拘束を与えることで、4.5点対応で中心座標や焦点距離を、5点対応でアスペクト比を、7点対応（特にこれが難しい！）からは中心座標とレンズディストーションを推定した。

コメント・リンク集

カメラ情報を推定する際に、対応点てどうやったら減るんだろう？（論文には書いてあるのですが、モチベーションや発想という意味で）

• 論文

概要

未校正（w/o calibration）かつ未知照明環境（unknown natural illumination）にてフォトメトリックステレオを実現するため、Equivalent Directional Lighting Modelを提案。滑らかに変化するような表面形状の復元や回転に対する曖昧性を許容した復元を可能にした。回転を考慮することでパッチの統合による曖昧性を排除して全体の表面を最適化した。図は提案手法のフロー図である。最初に光源を推定（Equivalent Directional Lighting）し、次にSVDしつつ局所的な（回転による？）曖昧性を除去、法線の空間にて行列計算・補完を行い出力する。

新規性・結果・なぜ通ったか？

未校正かつ未知照明の環境にて、滑らかな表面形状変化を捉えるフォトメトリックステレオ手法を考案した。パッチ毎に回転の曖昧性を推定して全体の構造を把握することに成功した。

コメント・リンク集

以前まではフォトメトリックステレオはかなり補助があったような気がするが、いつのまにかキャリブレーションなし、未知光源でできている。

• 論文

概要

細い（Thin）構造の物体を3次元復元するためのMulti-View Stereo手法を提案。トポロジーや連結性を考慮して復元を行ない、3次元メッシュ構造を復元することに成功した。3次元カーブ再構成、4面体系（tetrahedra）を復元してCurbe-conformed Delaunay Refinementを実施する。さらに、メッシュが4面体系上に復元される。

新規性・結果・なぜ通ったか？

形状が細い構造物を合成データ/リアルデータ両方のデータセットにおいて3次元メッシュ復元を可能にした。また、図に示されている通り、（細い形状を含め）表面形状を保存したままの復元に成功した。

コメント・リンク集

細い構造、3次元再構成の強い手法だけではできなかったのか？

• 論文

概要

Structure-from-Motion（SfM）にてカメラ位置推定を改善する手法について、本論文ではAll-About-that-Base (AAB) Statisticを提案、重み付けの方法について検討し、カメラ方向についてずれのレベル（ここでいうCorruption levelとは？）を推定しながら位置推定を実現。これによりカメラ方向（Camera Orientation）推定、重み付けについて理論的な証明を行うこと、より高速な手法の提案が展望として考えられる。

新規性・結果・なぜ通ったか？

２つのカメラにおける誤差を推定して復元する重み付け方法について提案し、カメラの位置推定に寄与した。

コメント・リンク集

数式が多くて最後まで読み解けませんでした。。

• 論文

概要

動的環境のモーションセグメンテーションにおいて幾何的な情報をホモグラフィとして抽出、平面などをインライアとして扱いマッチングの精度を補間的に高める。従来の基礎行列の手法では（動的環境下では）困難でも、マルチビューのスペクトラルクラスタリングとの統合で相補的にモデルを改善する。

新規性・結果・なぜ通ったか？

既存の基礎行列やホモグラフィといったモデルに対してマルチビューのスペクトラルクラスタリングを用いて空間の幾何構造を把握する研究である。Hopkins155, Hopkins12, MTPV62, KITTIデータセットにてSOTAな性を実現している。

リンク集

• 論文
• 著者

概要

本論文では3次元形状において、膨大な空間からマッチングする領域の探索問題を考える。従来では低ランク近似（Low-Rank Approximation）による手法、例としてMDS（Multidimensional Scaling）を適用してきた。本論文ではBiharmonic Interpolationによる測地距離行列を用いたSparse Biharmonic MDS（sBMDS）を提案することでより効率的な探索を実施することができる。sBMDSではデータの多様体を捉えて探索する点を大幅に抑えることができる（1.8Mx1.8M, 26TB => 50,000 landmarks, 20.9GB）。

新規性・結果・なぜ通ったか？

スパース補間技術であるsBMDSを提案したことで、マッチングする領域を大幅に減らすことに成功。非剛体のマッチングに要する時間は半分、メモリは20分の1になったと主張。

コメント・リンク集

ムービーで非剛体3次元のメッシュをマッチングできたら面白い！まだまだ改善が必要であろうか？

• 論文
• GitHub

概要

本論文ではスパースコーディング/辞書学習として著名なKendall's shape spaceを用いて3次元関節点を入力とした人物行動認識に取り組む。Riemannian幾何による形状空間を構築してスパースコーディング/辞書学習を提案。行動認識を実現するために、Fourier temporal pyramidを施した後にBi-directional LSTMやLinear SVMを適用する。

新規性・結果・なぜ通ったか？

3次元関節点を入力とした人物行動認識の文脈において、Riemannian辞書によるスパースコーディングを実装したことで非線形空間をスパースかつ時系列情報のユークリッド空間にて取り扱うことができた。

リンク集

• 論文

概要

紙やシャツなど柔軟な物体に対する形状変化を3次元的に捉える手法を提案した。従来法とは異なり、表面形状に関してテンプレートを準備する必要がないこと、テクスチャ欠損や部分的オクルージョンに対して頑健である。幾何的な変化を捉えるために、基本的に深層学習をベースとしており、2次元画像でのメッシュ検出、3次元形状の復元を実行する。形状変化、材質、テクスチャや照明条件の変化が入る空間を含んだ大規模データセットにて深層学習アーキテクチャをEnd-to-Endで学習。右図は提案手法の概要を示している。ネットワークは主に2次元画像中で位置を特定する2D Detection Branch、3次元的な幾何情報を復元するDepth Branch、非剛体形状を復元するShape Branchから構成される。

新規性・結果・なぜ通ったか？

End-to-Endかつリアルタイムな3次元表面形状復元手法を提案。実空間にて撮影したベンチマークにてState-of-the-artな表面形状トラッキングを実現した。現在まではEnd-to-Endな学習が難しいとされていたが、幾何的な情報を復元するに特化した構造とそのためのデータベースを構築したことが評価された形となった。

コメント・リンク集

中間状態として物体位置・距離画像・柔軟形状復元を行なっているけど、それぞれで誤差計算しているのだろうか？

• 論文
• Project
• YouTube

概要

CNNのフォワード（のみ）によりステレオマッチングの出力である距離画像を出力する取り組み。従来のステレオマッチングでは左右画像マッチング、視差計算、距離画像修正により構成されていたが、CNNにより大幅に処理コストを削減する。提案のネットワークでは4つのパーツから構成され、マルチスケールで重みを共有しながら特徴計算を行い（Multi-scale Shared Features）、左右画像のマッチング（Disparity Estimation）、距離画像修正（Disparity Refinement）、距離画像の最終出力（Disparity）を実施する。アーキテクチャについては右図に記載されている通りである。

新規性・結果・なぜ通ったか？

距離画像計算を一回のCNNのフォワードで実施するネットワークを構築し、ベンチマークであるScene FlowやKITTI datasetにて（論文投稿時）State-of-the-artな精度を実現した。グレースケールの色の一致性、勾配の一致性や特徴空間における恒常性（Feature Constancy）を考慮した結果、CNNによるステレオマッチングの出力が向上したと主張。

リンク集

• 論文
• Project
• GitHub

概要

データの数や質によってはオーバーフィッティングを起こしてしまうが、本論文ではLow-Dimensional Manifold-Regularized Neural Network (LDMNet; 低次元の多様体により正則化を実行するネットワーク)を提案することで特徴量や入力データに対して正則化を行う取り組みである。外的なパラメータなしに多様体を探索することが望ましいが、ここではEuler-Lagrange方程式は計算的な複雑性を上げることなくポイントクラウド計算にてLaplace-Beltrami方程式と等価（ここ自信ない）であることを示した。実験においてLDMNetは異なるモダリティ、例えばCross-spectralな顔認識において有効であることが判明した。右上図はweight decay/DropOutなどによる正則化手法と比較した結果である。LDMNetは特徴量をもっともよく識別する空間に配置する多様体を構成できている。

新規性・結果・なぜ通ったか？

低次元の多様体空間を構成することで、入力データには（できる限り）依存せずデータ/特徴空間に関する正則化を行うことができるLDMNetを提案した。より少ない画像枚数の学習にて良好な精度を実現することが明らかとなった。各カテゴリ50枚のMNIST学習にて95.57%を実現（ベースラインは91.32%/92.31%）した。

コメント・リンク集

クロススペクトラル（ドメインが多少異なる？）に対して良好な精度を実現しているため、過学習は避けられた？しかし、ドメイン変換のようなものについても検証を行ってほしい。

• 論文
• Project*著者

概要

Integer(int)演算によるニューラルネットの効率的な量子化および学習の提案である。Int演算でFloat演算よりも効率的な計算を可能とした。同様に、End-to-End学習についても精度を保持しつつ演算の高速化にも成功、accuracy/latencyのトレードオフについても効率的な解決策となった。関連研究であるMobileNetについても効率化に成功し、ImageNet/MSCOCOにてCPU実装をデモした。

新規性・結果・なぜ通ったか？

8ビットInt型の演算のみでニューラルネットの学習を実施。学習/推論においてFloat型の精度/速度を凌駕する性能を発揮した。さらに、MobileNet等の効率化されたアーキテクチャについてもより効率化を実現した。

コメント・リンク集

さすがにGoogleは保有データのみでなく、アルゴリズム面においてもトップを行っている。データあり、資源あり、人ありでその上分野を網羅的に攻めることができている。

• 論文
• SlideShare
• TensorFlow

概要

非剛体物体の３次元再構成について、人物のみでなくインタラクションしている物体に対しても密な復元を行う手法SobolevFusionを提案。さらに、従来法とは異なり、勾配をL^2の内積で定義し変化をSobolev spaceで扱えるようにしたこと、RGBのテクスチャも貼り付けることが可能になった。Variational Level-setにて領域の切り抜きを実施し、復元方法はTruncated Signed Distance Field (TSDF)を投影することで行われる。この流れはDynamicFusionやKillingFusionから来ている。

新規性・結果・なぜ通ったか？

DynamicFusion/KillingFusionを改良したSobolevFusionを提案した。変化した3D空間をSobolev空間で扱えるようにして動的な空間に関して詳細まで復元することに成功した。

コメント・リンク集

表が一つもない論文で通すのすごい！実装力勝ちですね。

• 論文
• 著者

概要

ピクセル同士のマッチングをピクセルの共起性に着目して行う手法を提案した。ピクセルの出現頻度で正規化された共起行列を用いることでテンプレートマッチングを行う。 その際、Multi-dimensional scalingを用いてマッピングを考えることで、画像を別空間に投影して扱うことを可能にする。

新規性・結果・なぜ通ったか？

RGB空間だけでなくDeep featuresなどピクセルとして表現されるあらゆるものに適用可能である。したがって、これまでに提案されてきたあらゆるCVの手法(論文中ではLucas-Kanade法及びKCF trackerを紹介)を使用することが可能である。

コメント・リンク集

• 論文

概要

霞んだ大気が写っていると認識タスクなどではノイズとなりうるケースがあり、除去する必要がある。そこで以下の手法を用いてSoTA達成し、End2Endで学習を行える除去方法を提案した。 画像を数式化し、それを解く手法をDensly Connected Pyramid Dehazing Networks(DCPDN)とした 霞んだ画像のEdgeなどの構造(TransmissionMapEstimation)と、霞など(AtmosphericLightEstimation)に分離して特徴量を獲得し、それら2つからDehazeImageを作成。 その後、DehazeImagerとEstimation、2つのペアの構造が似ているかをJoint-Discriminatorで識別し学習する。 また、Edgeは画像に分け目でありImageGraduentsに特徴付けらること、輪郭やEdgeのようなlow-levelな特徴量はCNNの最初の方の層で抽出されることの2つの背景から <<<<<<< Updated upstream Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 そこでocclusionを発生させた学習データを作ることで精度向上を計る。 始めに、通常通りReIDの学習を行うことでネットワークが画像のどの領域に注目するかを調べる。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 ======= <<<<<<< HEAD Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 そこでocclusionを発生させた学習データを作ることで精度向上を計る。 始めに、通常通りReIDの学習を行うことでネットワークが画像のどの領域に注目するかを調べる。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 ======= Edgeの特徴量を豊富に学習できる、ImageGradientを取る関数、VGGでcontent featureを取る関数の和であるEdge-preserving Lossを提案を提案した。

新規性・結果・なぜ通ったか？

SSIMでの比較結果が最も高く、結果を見ても綺麗であった。Edge-preserving LossとJoint-Discriminatorがうまく寄与していた。

コメント・リンク集

• 論文

概要

画像内のガラスの反射は，CV分野にとって脅威となる．この問題を解決するためにConcurrent Reflection Removal Network(CRRN)を提案．人間の知覚に影響を考慮したロス関数を用いて、画像の外観情報とマルチスケールの勾配情報を統合し、多様な実世界のシーンで撮影された3250枚の反射画像を用いて学習したものである．公開されているデータセットを用いて実験したところSoTAを示した．

新規性・結果・なぜ通ったか？

• 反射を同時に除去するための勾配推定ネットワーク(GIN)と画像の外観情報推定ネットワーク(IiN)を並行したフレームワークとして構築
• Reflection Image Dataset(RID)と呼ばれる反射画像DB を構築し学習に使用

コメント・リンク集

• Paper

概要

Person re-identification(ReID)のためのdata augmentationの方法を提案した。ReIDの難しさの一つとして、カメラの違いなどにより様々なocclusionが発生することである。 そこでocclusionを発生させた学習データを作ることで精度向上を計る。 始めに、通常通りReIDの学習を行うことでネットワークが画像のどの領域に注目するかを調べる。 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 >>>>>>> master >>>>>>> Stashed changes 明らかになった注目領域を塗りつぶすことでocclusionとし、学習しなおすことでocclusionに頑健な学習を実現する。

新規性・結果・なぜ通ったか？

従来手法では上半身など画像の一部の領域にのみに注目していたため、注目領域にocclusionがあると精度が下がったのに対して、提案手法により画像全体に注目するようになりocclusionに頑健になった。実際、Rank1 accuracy, mAPどちらもベースラインと比べ数値が向上したことを示した。

コメント・リンク集

同じCVPR2018に重要な領域だけに注目しようとする研究(URL)があり、全体に注目するように学習をするこの研究と真逆を進んでいるのが気になる

• 論文

概要

1枚画像からの行動認識を、類似する動作の記憶を手がかりに行うHybrid Video Memory(HVM)を提案した。 人間は未知の光景に遭遇したとき、過去の記憶を手がかりに類似したものから類推することができる。 HVMは人間のこのプロセスを模倣し、数枚しかない学習データを類似する動作と関連付けることで学習を可能にする。 学習済みTwo-stream CNNに1枚画像を入力し、Memory動画とSpatial Featureを比較することにより類似する動画へ重み付けを行う。 この類似する動作から得られるTemporal Featureの重みつき和を入力画像のTemporal Featureにする。 <<<<<<< Updated upstream 行動の予測は得られたTemporal Featureと学習画像及びMemory動画のTemporal Featureの類似度により各動画への重みを決定し、学習画像及びMemory動画のラベルの重み付き和を出力ラベルとする。

新規性・結果・なぜ通ったか？

UCF101をMemory動画として、WEB101, VOC, DIFF20の3つの画像データセットに対する行動予測を実施。いずれのデータセットに関しても、従来手法と比べ提案手法が最も精度が高い(WEB101 35.4%, VOC 42.2%, DIFF20 60.2%)結果が得られた。

コメント・リンク集

アメフトに類似するMemory動画がバンドマーチングなのはなぜ？

• 論文

概要

動画認識のために物体同士のinteractionを表現する方法を提案した。画像中の物体同士の関係を記述する方法は多く提案されているが、動画の場合全フレームに適用してしまうと情報量が多すぎて現実的ではない。 行動の予測は得られたTemporal Featureと学習画像及びMemory動画のTemporal Featureの類似度により各動画への重みを決定し、学習画像及びMemory動画のラベルの重み付き和を出力ラベルとする。

新規性・結果・なぜ通ったか？

UCF101をMemory動画として、WEB101, VOC, DIFF20の3つの画像データセットに対する行動予測を実施。いずれのデータセットに関しても、従来手法と比べ提案手法が最も精度が高い(WEB101 35.4%, VOC 42.2%, DIFF20 60.2%)結果が得られた。

コメント・リンク集

アメフトに類似するMemory動画がバンドマーチングなのはなぜ？

• 論文

概要

動画認識のために物体同士のinteractionを表現する方法を提案した。画像中の物体同士の関係を記述する方法は多く提案されているが、動画の場合全フレームに適用してしまうと情報量が多すぎて現実的ではない。 そこで動画に写っている物体同士の関係を高次な特徴として取得することで動画認識に利用する。 動画の各フレームから物体認識によりROIを取得し、K個のMulti Layer Perceptronに画像特徴とLSTMの過去の出力を入力する。 得られた各特徴をLSTMに入力することで物体同士の関係を表すattentionを得る。

新規性・結果・なぜ通ったか？

論文中ではAction Recognitionとキャプショニングの2つのタスクを提案した。Kineticsを用いたAction Recognitionは、既存手法(1FPSにサンプリングした)よりもTop1, 5共に提案手法の方が精度が高い。 キャプショニングはMETEOR, ROUGE-L, CIDEr-D, BLEU@Nの4つのデータセットで実験をし、Validation setの精度は向上したがTest setの精度が高いLSTM-A3には劣る部分がある。

コメント・リンク集

• 論文

概要

動画中からコンテキスト情報を取り除き動作そのものから行動を推定する手法を提案。行動認識において、背景などのコンテキスト情報は識別のための重要な手がかりである。 ======= <<<<<<< HEAD 行動の予測は得られたTemporal Featureと学習画像及びMemory動画のTemporal Featureの類似度により各動画への重みを決定し、学習画像及びMemory動画のラベルの重み付き和を出力ラベルとする。

新規性・結果・なぜ通ったか？

UCF101をMemory動画として、WEB101, VOC, DIFF20の3つの画像データセットに対する行動予測を実施。いずれのデータセットに関しても、従来手法と比べ提案手法が最も精度が高い(WEB101 35.4%, VOC 42.2%, DIFF20 60.2%)結果が得られた。

コメント・リンク集

アメフトに類似するMemory動画がバンドマーチングなのはなぜ？

• 論文

概要

動画認識のために物体同士のinteractionを表現する方法を提案した。画像中の物体同士の関係を記述する方法は多く提案されているが、動画の場合全フレームに適用してしまうと情報量が多すぎて現実的ではない。 そこで動画に写っている物体同士の関係を高次な特徴として取得することで動画認識に利用する。 動画の各フレームから物体認識によりROIを取得し、K個のMulti Layer Perceptronに画像特徴とLSTMの過去の出力を入力する。 得られた各特徴をLSTMに入力することで物体同士の関係を表すattentionを得る。

新規性・結果・なぜ通ったか？

論文中ではAction Recognitionとキャプショニングの2つのタスクを提案した。Kineticsを用いたAction Recognitionは、既存手法(1FPSにサンプリングした)よりもTop1, 5共に提案手法の方が精度が高い。 キャプショニングはMETEOR, ROUGE-L, CIDEr-D, BLEU@Nの4つのデータセットで実験をし、Validation setの精度は向上したがTest setの精度が高いLSTM-A3には劣る部分がある。

コメント・リンク集

• 論文

概要

動画中からコンテキスト情報を取り除き動作そのものから行動を推定する手法を提案。行動認識において、背景などのコンテキスト情報は識別のための重要な手がかりである。 ======= 行動の予測は得られたTemporal Featureと学習画像及びMemory動画のTemporal Featureの類似度により各動画への重みを決定し、学習画像及びMemory動画のラベルの重み付き和を出力ラベルとする。

新規性・結果・なぜ通ったか？

UCF101をMemory動画として、WEB101, VOC, DIFF20の3つの画像データセットに対する行動予測を実施。いずれのデータセットに関しても、従来手法と比べ提案手法が最も精度が高い(WEB101 35.4%, VOC 42.2%, DIFF20 60.2%)結果が得られた。

コメント・リンク集

アメフトに類似するMemory動画がバンドマーチングなのはなぜ？

• 論文

概要

動画認識のために物体同士のinteractionを表現する方法を提案した。画像中の物体同士の関係を記述する方法は多く提案されているが、動画の場合全フレームに適用してしまうと情報量が多すぎて現実的ではない。 そこで動画に写っている物体同士の関係を高次な特徴として取得することで動画認識に利用する。 動画の各フレームから物体認識によりROIを取得し、K個のMulti Layer Perceptronに画像特徴とLSTMの過去の出力を入力する。 得られた各特徴をLSTMに入力することで物体同士の関係を表すattentionを得る。

新規性・結果・なぜ通ったか？

論文中ではAction Recognitionとキャプショニングの2つのタスクを提案した。Kineticsを用いたAction Recognitionは、既存手法(1FPSにサンプリングした)よりもTop1, 5共に提案手法の方が精度が高い。 キャプショニングはMETEOR, ROUGE-L, CIDEr-D, BLEU@Nの4つのデータセットで実験をし、Validation setの精度は向上したがTest setの精度が高いLSTM-A3には劣る部分がある。

コメント・リンク集

• 論文

概要

動画中からコンテキスト情報を取り除き動作そのものから行動を推定する手法を提案。行動認識において、背景などのコンテキスト情報は識別のための重要な手がかりである。 >>>>>>> master >>>>>>> Stashed changes キャプショニングはMETEOR, ROUGE-L, CIDEr-D, BLEU@Nの4つのデータセットで実験をし、Validation setの精度は向上したがTest setの精度が高いLSTM-A3には劣る部分がある。

コメント・リンク集

• 論文

概要

動画中からコンテキスト情報を取り除き動作そのものから行動を推定する手法を提案。行動認識において、背景などのコンテキスト情報は識別のための重要な手がかりである。 しかし、学習データが似たようなコンテキストのものを多く含んでしまうと、実際には動作が違うにもかかわらず背景などによって異なる動作を認識してしまう。 そこで動画を行動とコンテキストに分解し、行動のみから識別を行う。 行動とコンテキストそれぞれのラベルをつけた学習データを用意するのは困難なため、同じ動画からアクションを含む部分(action sample)と含まない部分(conjugate sample)を考える。 ネットワークとして行動に関する特徴とコンテキストに関する特徴を抽出するものを考える。 行動特徴に関しては、conjugate sampleには注目のアクションを含まないため2つのsampleから抽出した特徴が類似しないように学習する。 一方でcontext sampleに関しては２つのsampleは背景などを共有しているため類似するように学習する。 <<<<<<< Updated upstream これに加えてaction sampleから得られる2つの特徴を用いた行動識別を考え、classification lossとする。

新規性・結果・なぜ通ったか？

ActionThread datasetで実験し、13の行動のうち10の行動が提案手法のprecisionが最も高かった。UCF101, Hollywood2を用いてconjugate sampleをaction sampleの隣接するセグメントにとして行った実験も提案手法の精度がベースラインを上回った。

コメント・リンク集

• 論文

概要

action segmentationのためのネットワーク、Temporal Deformable Residual Networks(TDRN)を提案した。動画の各フレームからCNNにより抽出した特徴を入力とし、two-streamの構造で特徴を処理していく。 これに加えてaction sampleから得られる2つの特徴を用いた行動識別を考え、classification lossとする。

新規性・結果・なぜ通ったか？

ActionThread datasetで実験し、13の行動のうち10の行動が提案手法のprecisionが最も高かった。UCF101, Hollywood2を用いてconjugate sampleをaction sampleの隣接するセグメントにとして行った実験も提案手法の精度がベースラインを上回った。

コメント・リンク集

• 論文

概要

action segmentationのためのネットワーク、Temporal Deformable Residual Networks(TDRN)を提案した。動画の各フレームからCNNにより抽出した特徴を入力とし、two-streamの構造で特徴を処理していく。 Temporal Residual Streamは、動画のfull scaleのコンテキスト情報を解析する。 Temporal Pooling Streamは、時間方向のPooling, Unpoolingを複数回施すことにより時間方向に関して様々なスケールのコンテキスト情報を解析する。

新規性・結果・なぜ通ったか？

従来のネットワークは1つのstreamで処理するのに対して提案手法は2つのstreamで処理する。さらに2つのstreamは独立してるのではなくTemporal Pooling Streamに逐次Temporal Residual Streamから得られた特徴を入力していく。 50Saladas, GTEA, JIGSAWSの3つの動画データセットで評価し、F1, Edit score, Accuracyの3つの指標いずれも従来手法よりも向上した。

コメント・リンク集

• 論文

概要

Kantorovich-Wasserstein metricに基づいて高次元データを微分同相写像により表現する手法を提案した。K-meansによりクラスタリングされたK個の接平面毎にテンプレートとなるベクトルをprobablistic PCAにより学習する。

新規性・結果・なぜ通ったか？

MNIST, ADNI PET, NUCLEIの3つのデータセットにより評価。少ない学習データから提案手法によりデータ数を増やし識別タスクの精度を上げることに成功した。 確率モデルを考えるためBayesian Classificationを可能とし、Logistic Regressionより精度が高いことを確認した。

コメント・リンク集

The数学という感じの論文

• 論文

概要

DayとNight、OutdoorとIndoorなど2種類の3次元モデルのregistrationをする手法を提案した。入力として3次元のsemantic labelを考え、各ラベル領域の点郡を楕円によって近似する。 ======= <<<<<<< HEAD これに加えてaction sampleから得られる2つの特徴を用いた行動識別を考え、classification lossとする。

新規性・結果・なぜ通ったか？

ActionThread datasetで実験し、13の行動のうち10の行動が提案手法のprecisionが最も高かった。UCF101, Hollywood2を用いてconjugate sampleをaction sampleの隣接するセグメントにとして行った実験も提案手法の精度がベースラインを上回った。

コメント・リンク集

• 論文

概要

action segmentationのためのネットワーク、Temporal Deformable Residual Networks(TDRN)を提案した。動画の各フレームからCNNにより抽出した特徴を入力とし、two-streamの構造で特徴を処理していく。 Temporal Residual Streamは、動画のfull scaleのコンテキスト情報を解析する。 Temporal Pooling Streamは、時間方向のPooling, Unpoolingを複数回施すことにより時間方向に関して様々なスケールのコンテキスト情報を解析する。

新規性・結果・なぜ通ったか？

従来のネットワークは1つのstreamで処理するのに対して提案手法は2つのstreamで処理する。さらに2つのstreamは独立してるのではなくTemporal Pooling Streamに逐次Temporal Residual Streamから得られた特徴を入力していく。 50Saladas, GTEA, JIGSAWSの3つの動画データセットで評価し、F1, Edit score, Accuracyの3つの指標いずれも従来手法よりも向上した。

コメント・リンク集

• 論文

概要

Kantorovich-Wasserstein metricに基づいて高次元データを微分同相写像により表現する手法を提案した。K-meansによりクラスタリングされたK個の接平面毎にテンプレートとなるベクトルをprobablistic PCAにより学習する。

新規性・結果・なぜ通ったか？

MNIST, ADNI PET, NUCLEIの3つのデータセットにより評価。少ない学習データから提案手法によりデータ数を増やし識別タスクの精度を上げることに成功した。 確率モデルを考えるためBayesian Classificationを可能とし、Logistic Regressionより精度が高いことを確認した。

コメント・リンク集

The数学という感じの論文

• 論文

概要

DayとNight、OutdoorとIndoorなど2種類の3次元モデルのregistrationをする手法を提案した。入力として3次元のsemantic labelを考え、各ラベル領域の点郡を楕円によって近似する。 ======= これに加えてaction sampleから得られる2つの特徴を用いた行動識別を考え、classification lossとする。

新規性・結果・なぜ通ったか？

ActionThread datasetで実験し、13の行動のうち10の行動が提案手法のprecisionが最も高かった。UCF101, Hollywood2を用いてconjugate sampleをaction sampleの隣接するセグメントにとして行った実験も提案手法の精度がベースラインを上回った。

コメント・リンク集

• 論文

概要

action segmentationのためのネットワーク、Temporal Deformable Residual Networks(TDRN)を提案した。動画の各フレームからCNNにより抽出した特徴を入力とし、two-streamの構造で特徴を処理していく。 Temporal Residual Streamは、動画のfull scaleのコンテキスト情報を解析する。 Temporal Pooling Streamは、時間方向のPooling, Unpoolingを複数回施すことにより時間方向に関して様々なスケールのコンテキスト情報を解析する。

新規性・結果・なぜ通ったか？

従来のネットワークは1つのstreamで処理するのに対して提案手法は2つのstreamで処理する。さらに2つのstreamは独立してるのではなくTemporal Pooling Streamに逐次Temporal Residual Streamから得られた特徴を入力していく。 50Saladas, GTEA, JIGSAWSの3つの動画データセットで評価し、F1, Edit score, Accuracyの3つの指標いずれも従来手法よりも向上した。

コメント・リンク集

• 論文

概要

Kantorovich-Wasserstein metricに基づいて高次元データを微分同相写像により表現する手法を提案した。K-meansによりクラスタリングされたK個の接平面毎にテンプレートとなるベクトルをprobablistic PCAにより学習する。

新規性・結果・なぜ通ったか？

MNIST, ADNI PET, NUCLEIの3つのデータセットにより評価。少ない学習データから提案手法によりデータ数を増やし識別タスクの精度を上げることに成功した。 確率モデルを考えるためBayesian Classificationを可能とし、Logistic Regressionより精度が高いことを確認した。

コメント・リンク集

The数学という感じの論文

• 論文

概要

DayとNight、OutdoorとIndoorなど2種類の3次元モデルのregistrationをする手法を提案した。入力として3次元のsemantic labelを考え、各ラベル領域の点郡を楕円によって近似する。 >>>>>>> master >>>>>>> Stashed changes 50Saladas, GTEA, JIGSAWSの3つの動画データセットで評価し、F1, Edit score, Accuracyの3つの指標いずれも従来手法よりも向上した。

コメント・リンク集

• 論文

概要

Kantorovich-Wasserstein metricに基づいて高次元データを微分同相写像により表現する手法を提案した。K-meansによりクラスタリングされたK個の接平面毎にテンプレートとなるベクトルをprobablistic PCAにより学習する。

新規性・結果・なぜ通ったか？

MNIST, ADNI PET, NUCLEIの3つのデータセットにより評価。少ない学習データから提案手法によりデータ数を増やし識別タスクの精度を上げることに成功した。 確率モデルを考えるためBayesian Classificationを可能とし、Logistic Regressionより精度が高いことを確認した。

コメント・リンク集

The数学という感じの論文

• 論文

概要

DayとNight、OutdoorとIndoorなど2種類の3次元モデルのregistrationをする手法を提案した。入力として3次元のsemantic labelを考え、各ラベル領域の点郡を楕円によって近似する。 このとき、点郡から得られるConvex Hullの内側の楕円Inner Ellipsoidと外側の楕円Outer Ellipsoidを考える。 2つの3次元モデルsourceとtargetの楕円をそれぞれInnerとOuterと考え、InnerがOuterの内部に存在する場合をラベル同士が対応していると考える。 この対応してる楕円の数が最大になるような変換を考えることでモデル間のregistrationを実現する。

新規性・結果・なぜ通ったか？

合成データのテストでは、楕円数が少ないときは１秒以下で計算が可能であり、多い時でも従来手法よりもoutlier ratioが70%程度までは早い計算が可能である。精度に関してもICPよりRMSEが小さいことを確認した。 リアルデータのテストではrotation errorは最大で3°以下、translation errorとscale errorは３%以下であった。 計算時間はおよそ2から5分程度である。 <<<<<<< Updated upstream 何故Analyzing Humansのセッションなのだろうか？

コメント・リンク集

• 論文

概要

3次元の曲線を3次元の表面にregistrationするための手法を提案した。曲線（表面）上の点を、点に加え微分情報を表すvector(法線もしくは接平面)のpoint＋vector(2-tuplesと呼ぶ)と考える。 何故Analyzing Humansのセッションなのだろうか？

コメント・リンク集

• 論文

概要

3次元の曲線を3次元の表面にregistrationするための手法を提案した。曲線（表面）上の点を、点に加え微分情報を表すvector(法線もしくは接平面)のpoint＋vector(2-tuplesと呼ぶ)と考える。 2点の2-tuplesを考え、4つのパラメータにより表現して対応曲線と表面上の点が対応しているかの判定を行う。

新規性・結果・なぜ通ったか？

ノイズがある場合、ない場合どちらにおいても、元のデータよりも点の数が減っていると従来手法は精度が下がるのに対して提案手法は点の数が少なくなっても精度が下がりにくい。計算時間は、オフラインのプロセスが0.3~1.9sであり、オンラインのプロセスは10^0から10^-1のオーダーで計算できる。 curve vs curveやsurface vs surfaceのregistrationにも発展させることが可能である。

コメント・リンク集

• 論文

概要

One-shot learningでよく用いられる評価時の設定（C-way k-shot, Cカテゴリで各カテゴリk枚の画像を教師に，入力画像のカテゴリを推定する）と同じ条件で学習を行うため，Memory Networkとbi-LSTMを用いたMemory Matching Networks(MM-Net)の提案． ======= <<<<<<< HEAD 何故Analyzing Humansのセッションなのだろうか？

コメント・リンク集

• 論文

概要

3次元の曲線を3次元の表面にregistrationするための手法を提案した。曲線（表面）上の点を、点に加え微分情報を表すvector(法線もしくは接平面)のpoint＋vector(2-tuplesと呼ぶ)と考える。 2点の2-tuplesを考え、4つのパラメータにより表現して対応曲線と表面上の点が対応しているかの判定を行う。

新規性・結果・なぜ通ったか？

ノイズがある場合、ない場合どちらにおいても、元のデータよりも点の数が減っていると従来手法は精度が下がるのに対して提案手法は点の数が少なくなっても精度が下がりにくい。計算時間は、オフラインのプロセスが0.3~1.9sであり、オンラインのプロセスは10^0から10^-1のオーダーで計算できる。 curve vs curveやsurface vs surfaceのregistrationにも発展させることが可能である。

コメント・リンク集

• 論文

概要

One-shot learningでよく用いられる評価時の設定（C-way k-shot, Cカテゴリで各カテゴリk枚の画像を教師に，入力画像のカテゴリを推定する）と同じ条件で学習を行うため，Memory Networkとbi-LSTMを用いたMemory Matching Networks(MM-Net)の提案． ======= 何故Analyzing Humansのセッションなのだろうか？

コメント・リンク集

• 論文

概要

3次元の曲線を3次元の表面にregistrationするための手法を提案した。曲線（表面）上の点を、点に加え微分情報を表すvector(法線もしくは接平面)のpoint＋vector(2-tuplesと呼ぶ)と考える。 2点の2-tuplesを考え、4つのパラメータにより表現して対応曲線と表面上の点が対応しているかの判定を行う。

新規性・結果・なぜ通ったか？

ノイズがある場合、ない場合どちらにおいても、元のデータよりも点の数が減っていると従来手法は精度が下がるのに対して提案手法は点の数が少なくなっても精度が下がりにくい。計算時間は、オフラインのプロセスが0.3~1.9sであり、オンラインのプロセスは10^0から10^-1のオーダーで計算できる。 curve vs curveやsurface vs surfaceのregistrationにも発展させることが可能である。

コメント・リンク集

• 論文

概要

One-shot learningでよく用いられる評価時の設定（C-way k-shot, Cカテゴリで各カテゴリk枚の画像を教師に，入力画像のカテゴリを推定する）と同じ条件で学習を行うため，Memory Networkとbi-LSTMを用いたMemory Matching Networks(MM-Net)の提案． >>>>>>> master >>>>>>> Stashed changes curve vs curveやsurface vs surfaceのregistrationにも発展させることが可能である。

コメント・リンク集

• 論文

概要

One-shot learningでよく用いられる評価時の設定（C-way k-shot, Cカテゴリで各カテゴリk枚の画像を教師に，入力画像のカテゴリを推定する）と同じ条件で学習を行うため，Memory Networkとbi-LSTMを用いたMemory Matching Networks(MM-Net)の提案． 学習時，学習データから数カテゴリ・カテゴリ毎数枚の画像が教師データとして選択され(support set)．embeddingされたrepresentationがmemoryに書き込まれる． 入力画像のカテゴリ推定は，メモリから読み出した各教師画像のrepresentationと，入力画像から得たrepresentationの対応(matching)を取って行う． この際，入力画像からrepresentationを得るCNNのフィルタのパラメータは，メモリから読み出した教師画像のrepresentationの列からbi-LSTMで推定する． 評価時も，学習データからsupport setを選択する操作を除いて，学習時と同じ手順で行う． <<<<<<< Updated upstream Omniglotの多くの条件でSOTA,miniImageNetにおいてもSOTA．

新規性・結果・なぜ通ったか？

• Memory Networkとbi-LSTMを上手く用いることで，one-shot learningにおいて，学習時と評価時とを同じ手順で行うことを実現
• One-shot learningで最もよく使われるOmniglot datasetでは98.95%から99.28%のaccuracyを達成．また，miniImageNetでは49.21%から53.57%のaccuracyを達成．

コメント・リンク集

• ネットワーク構造，学習手順ともに相当複雑なので，実際に実装して学習の様子を見てみたいところ
• 論文

概要

・ 超解像やノイズ除去などのLow-level VisionのためのDualCNNの提案・ DualCNNでは全体の構造の推定，細部の推定をそれぞれ行い超解像やノイズ除去などのタスクに応じた定式化を行い画像の生成を行う

新規性・結果・なぜ通ったか？

・従来の超解像やノイズ除去はそれぞれタスクに特化したアーキテクチャが考案されていたが，本手法では1つのネットワークで最先端の手法と同等の精度を実現

コメント・リンク集

• 論文
• Supplementary material

概要

密集した物体を追跡するタスクを行うため、蜂の巣を撮影し、映像中の蜂についてそれぞれの位置と方向がラベル付けされたデータセットを構築したのち、CNNで追跡するタスクを行った論文。実験の結果、人間と同等の精度で密集した蜂を追跡することに成功した。

手法・新規性

セグメンテーションを行うU-Netの構造と類似しているが、ネットワークサイズを94%削減したネットワークに対して、物体の同定と向いている方向に関する損失関数を設計した。向いている方向の精度を向上させるため、再帰的なフレームワークを導入することで人間と同等の精度を達成した。

コメント・リンク集

• 論文
• Supplemental Material (zip)
• データセット

概要

クラス分類タスクに対してLow-Shot Learningを行うためのWeight Imprintingという技術を提案した論文。Low-Shot Learningは予め十分な量のデータが与えられて学習した後に、データ数が非常に少ない分類すべき新しいクラスが与えられ、その上でそれらを分類するタスクである。Weight Imprintingはすでに学習したクラスの部分に変更を加えないため、学習コストが少なく、少ないデータ数で学習可能である。

手法・新規性

Weight Imprintingはクラス分類器に適用する手法である。通常のCNNによるクラス分類器と異なる点は、畳み込み層から得られた特徴量を正規化する点と、バイアス項のない全結合層である点である。バイアス項がないため、重み係数は正規化された特徴量のテンプレートとして機能する。したがって、分類すべき新しいクラスが与えられたときに、その正規化された特徴量をそのまま重み係数とすることができる。複数のサンプルが与えられた場合は平均を計算して、重み係数とする。Weight Imprintingはテンプレートとして機能する重み係数との内積をが最大となるクラスを推定結果とするため、Nearest Neightborと同等の機能を持っている。

コメント・リンク集

• 論文

概要

データサイズに依存せず、RANSACを定数時間で行えるようにした論文。RANSACのボトルネックはサンプリングした仮説を検証するステップにあるため、従来その検証を高速化する手法が提案されてきたが、提案手法は検証を行う前に潜在空間でフィルタリングを行うことで妥当な仮説のみを検証することで高速化を行った。

新規性・結果・なぜ通ったか？

従来のRANSACでは全ての仮説を検証していたが、提案手法ではそれを高速にフィルタリングする。このフィルタリングのプロセスは、まず潜在空間上にパラメータ化し、それに対してRandom Grid Hashingを用いて、現在の仮説がそれ以前に生成された仮設と衝突するか否かを検証することで行われる。この検証前のプロセスの改良に伴い、それに適した探索を終了する基準も提案した。

コメント・リンク集

• 論文

概要

ニューラルネットワークにおけるTemporal Match Kernelを再考し、動画の比較や位置合わせができる学習可能なTemporal Layerを用いた手法（LAMV：Learnable to Align and Match Videos）を提案した論文。Video Alignment、Cody Detection、Event RetrievalのタスクでSoTAを実現した。

手法・新規性

同じネットワークを通して得られた特徴量を比較するという意味では、LAMVはSiamese Networkと類似したアプローチである。Temporal Match Kernelを微分可能なレイヤーとすることでニューラルネットワークの導入する。損失関数はベースとなる動画と重複部分を持つ動画と重複部分を持たない動画に対してTriplet Lossを取る。

コメント・リンク集

• 論文

概要

CNNの特徴量表現の識別性能を向上させるため、幾何学的変形に不変なプーリング手法であるSubspace Poolingを提案した論文。さらに精度を向上させるため、Marginal Triplet Lossにカーネル法を適用し、Bilinear Poolingより良い精度を少ないメモリ容量で実現した。

手法・新規性

Subspace Poolingは特徴量マップを列成分に並べた行列に対してSVDによって次元圧縮を行う。この方法は、行列の行成分の順列（位置に関する入れ替え）に対して不変である。Patch Matchingのような2点距離を測るようなタスクに対しては、Subspace Poolingで得られた特徴量をガウシアンカーネルを用いたカーネル法を適用することができ、これによりさらに精度を向上させた。

コメント・リンク集

• 論文

概要

Disentanglementタスクを敵対的ネットワークの構造を利用して行った論文。Disentanglementとは要因を分解するようなタスクであり、手書き文字であれば何の文字が書かれているかという情報と書かれている文字のスタイルを分離するようなタスクである。提案手法は最初に正解ラベルを与えられるようなタスクを学習させた後、それ以外の要素を抽出するようにもう一つのネットワークを学習させることでこれを実現した。実験では、分離した2つの要因を補間したり、掛け合わせたりする検証と2つの要因に相関が無くなっているかを確認するための検索タスクを行った。

手法・新規性

まず初めにネットワークSを正解ラベルの存在するクラス分類のタスクで学習させる。次にSとは異なるネットワークZを学習するのだが、SのエンコーダとZのエンコーダから得られた特徴量からReconstructionするように学習するブランチと、Zのエンコーダから得られた特徴量からできるだけクラス分類の精度が下がるように学習するブランチで学習する。特にクラス分類の精度を下げるように学習する方は、クラス分類に必要な情報をできるだけ忘れるようになっており、Disentanglementのタスクに効いている。

コメント・リンク集

• 論文
• GitHub

概要

PointNetでは考慮出来ていない, PointCloud の局所的な構造を抽出するために, 新しい２つの演算 (kernel correlation と graph-based pooling) を提案. classification と segmentation のタスクで行った評価実験では PointNet++ と同等以上の結果をより少ないパラメータ数で達成した.

新規性・結果・なぜ通ったか？

• PointNetでは考慮出来ていない, PointCloud の局所的な構造を抽出するための新しい２つの演算を提案
• 1つ目として, 局所的な幾何構造の Affinity を測るための kernel correlation を提案
• 誤差逆伝播時に kernel point の位置を調整出来るようにすることで, 最も効果的なテンプレートの形状を学習
• 2つ目として, 局所的な高次元特徴をみるために, graph-based pooling を提案
• classification と segmentation のタスクで評価実験
• classification では MVCNN のような画像と volume の両方を入力とする手法と同等の高い精度を達成 (ModelNetを評価に使用)
• segmentation では PointNet(追加情報として法線も入力)と同等の結果を達成（ShapeNetを評価に使用）

コメント・リンク集

• [論文] Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling
• [Code] MITSUBISHI ELECTRIC RESEARCH LABORATORIES

概要

この研究では以下に示す3つのことを行なった．

1. 人の視線推定のため，DHF1Kと呼ばれる新しいデータセットを提案．
2. 動的シーンにおける人の視線推定のため，新たにCNN-LSTMアーキテクチャを提案．
3. ビデオサリエンシーモデルを分析．

DHF1Kデータセットは，1000個の動画から構成されており，シーン，モーション，アクティビティ等が既存データセットよりも幅広くカバーされている．

新規性・結果・なぜ通ったか？

DHF1K, Hollywood2, UCF sportsデータセットを用いて実験を行なった結果，提案モデルがSOTAモデルよりも優れていることがわかった．評価指標としては，Normalized Scanpath Saliency, Similarity Metric, Linear Correlation Coefficient, AUC-Judd, shuffled AUCを用いた．

コメント・リンク集

• 論文URL
• github

概要

弱教師（画像レベルのアノテーション）によって Textual phrase localization を行う研究. 提案手法では anchor constraint の元で fine-grained な Bounding Box を連続的に探すことが可能. Flickr30K Entities と ReferItGane datasets を用いた評価実験では, 既存の弱教師に基づく手法に大きな差をつけてSOTAを達成した.

新規性・結果・なぜ通ったか？

• 画像レベルのアノテーションから Textual phrase localization を行うネットワーク, Multi-scale Anchored Transformer Network（MATN）を提案
• 提案手法は region proposal から生成された anchor constraint の元で Affine 変換のパラメータを推定
• 上記により, fine-grained な Bouding Box を連続的に探すことができる (Bouding Box の候補から選ぶのではなく)
• ネットワークは, 画像から連想される他のフレーズとの contrastive reconstruction loss と 同じようなフレーズを持つ画像とのtriplet loss によって学習
• Flickr30K Entities と ReferItGane datasets を用いた評価実験では, GroundeR 等の既存の手法と比較してSOTAを達成. 特に IoU で評価して高い精度を要求される場合は, 提案手法が有効であることを確認.

コメント・リンク集

• [論文] Weakly Supervised Phrase Localization with Multi-Scale Anchored Transformer Network

概要

Multi-domain なパッチベースの object counting の新しいモデルを提案. 提案手法は multi-domain に対応するための domain specific modules を内包しており, 全体のパラメータの内 5% を追加で学習するだけで新しい domain に対応することが出来る. 評価実験では, 単一のモデルで異なる domain に対する数え上げのタスクでSOTAを達成した.

新規性・結果・なぜ通ったか？

• Multi-domain なパッチベースの object counting の新しいモデルを提案
• 提案されたネットワークは画像特徴量抽出のための CNN と数え上げのための全結合層のネットワーク（５層）から構成
• CNN は学習済みの画像分類のネットワークを使用（実験では MobileNet が最も高精度を達成）
• 各全結合層の後には multi-domain に対応するための domain specific modules が配置されており, 新しい domain の学習はこのモジュールのパラメータ（全体の5%程度）を用いて行う
• Cell Counting のデータセット Dublin Cell Counting (DCC) dataset を公開
• 単一のモデルで異なる domain に対する数え上げのタスクでSOTAを達成 (Shanghaitech and Penguins Dataset)

コメント・リンク集

• [論文] People, Penguins and Petri Dishes: Adapting Object Counting Models To New Visual Domains And Object Types Without Forgetting

概要

オブジェクト画像に対するCNNの計算コストを削減するために、画像の前景に対する離散的なマスクを生成し、convolutionを行うSparse Blocks Networks (SBNet)を提案。従来のCNNでは画像全体に一様にconvolutionの操作を行うため計算コストが高い。また、既存手法では構造的な離散化を行なっていないために、計算コストは小さくなっても実行時間が短くならないという問題点があった。提案手法では多くのオブジェクト画像は周りを背景で囲まれており、一部の領域にオブジェクトが存在するという構造情報に基づいて、前景の可能性が高い領域に対する離散的なマスクを形成する。これを入力テンソルに適用することで小さい計算コストで精度を落とすことなくCNNの学習を行う。

新規性・結果・なぜ通ったか？

• 様々なスケールのsparsityを使ったマスクにおいて、同様のサイズのカーネルをもつCNNと比較したところ、提案ネットーワークの方が10倍程度速く実行可能。
• KITTI Bird’s Eye View (BEV) 2017 Benchmarkにおいて、SoTAと同等の精度を3分の1程度の実行時間17.9msで達成。
• 既存研究とは異なり、提案手法がマスクのsparse度合いに比例してテスト時のスピードが向上していることを示しており、提案手法が真に有効なマスクの離散化を行っていることを主張している。

コメント・リンク集

• 論文中には所狭しと結果の画像と既存研究との比較を行った表が並べられており、徹底した評価を行っている。
• 論文
• Project page
• GitHub

概要

人間の軌道予測を行う際に、頭部の向き情報を加えたLSTMベースのネットワークMiXing LSTMを提案。事前実験により人間の歩行軌道と頭部の向きが関係することを明らかにした上で、手法を提案。xy平面状の軌道(tracklets)と頭部の向き(vislets)の両方のstreamを考慮する。また、既存手法であるSocial LSTMでは周りの歩行者の軌道を隠れ変数として考慮していたが、提案手法では推定された頭部の向きを中心とした視野角内に存在する歩行者のみを考慮することで精度の向上を図っている。最適化にはd-variate Gaussian parametersを用いた。

新規性・結果・なぜ通ったか？

• Mean Average Displacement error, Final Average Displacement errorを評価尺度とした。
• UCY sequences (Zara01、Zara02、UCY)、in the TownCentre datasetの全てにおいてSoTAを達成。
• 頭部の方向推定についてもSoTAと同等の精度を獲得。
• 既存のモデルでは速さが小さいほどエラーが大きかったが、提案手法では比較的、速さに依存せずエラーを抑えることができている。

コメント・リンク集

• 新しく用いた情報はかなりシンプルで経験的に誰でも思いつきそうだが、それを初めて実装してSoTAを出していることがすごい！このように誰にでも納得できるpriorを取り入れることができたこともアクセプトに繋がった要因かもしれない。
• 論文
• 参考 Social LSTM: Human Trajectory Prediction in Crowded Spaces (Social LSTM)

概要

直接観測していない四次元light fieldを観測可能な物体によるディフューズ面に投影された二次元平面上の影から推定する手法を提案。既存研究としてtime-of-flightカメラを用いて二次反射光による観測可能な反射と見えていないシーンを含んだ全てのシーンとの関係性と、ありえそうなシーンの構造を事前情報として用いて観測できないシーンのオブジェクト数を数えるnon-line-of-sight (NLoS) imagingをあげているが、この研究ではよりチャレンジングな目的を達成する。提案手法ではNLoSで使用されている二次反射光に加えて、現実のシーンではスペクトルが低周波成分に集中するという情報を用いることで平面上の影から観測不可能な四次元光を推定する。

新規性・結果・なぜ通ったか？

• CG空間のモデルと現実空間で撮影された影の画像に対して四次元light fieldの推定を行った。
• GTとの復元された画像とのPSNRで比較。既存研究が存在しないためか、比較は行っていないが、良好な結果が得られた。
• 観測できる物体として人間と観葉植物で実験しており、観葉植物のような複雑な形状を持っている物体に対しても良好な結果が得られた。

コメント・リンク集

• かなりチャレンジングな目的を達成した論文！しかし、データが揃ったり、効果的な半教師/教師なし学習が考案されれば、この手の問題は制度だけを求めるならばDNNで解決できる？
• 論文

概要

異なるドメイン間の画像変換において、ある一つのドメインとその他のドメイン間の画像変換をトレーニングすることで、テスト時にはトレーニングを行っていないドメイン間の画像変換を行うmix and match networksを提案。提案ネットワークはautoencoderによって構築される。以下ではdepth(D) to semantic segmentation(S)を行うために、RGB(R) to D, R to Sをトレーニングするロス関数を説明する。

• Rドメイン：R-S、D-R、R-R間で生成された画像に対するL2ノルム、GAN loss
• D(S)ドメイン：R-D(S)間の変換画像、D(S)ドメインにおけるautoencoderの出力画像、とのそれぞれの入力画像におけるBerhu loss
• 潜在変数空間：R-S(D)、S(D)-R間のそれぞれの潜在変数のL2ノルム

新規性・結果・なぜ通ったか？

• SceneNetRGBDで実験。提案手法でRGBとdepth間、RGBとsemantic segmentation間を学習したモデルにおけるdepth-to-segmentationの精度をmIoU、global scoreで比較。
• ablation studyにより、pooling indicesや各ロス関数の重要性を確認。特にpooling indicesによってmIoUの精度が4%向上。
• Cycle GAN、2xpix2pixよりも高い精度を達成。
• カラートランスファー、スタイルトランスファーでも質の高い画像を生成できることを確認。

コメント・リンク集

• ハイパーパラメタが5つあり、これの調整が結構シビア？
• どのドメインを起点とするかで結果の精度は変わる？起点をデプスにすると、情報量がRGBよりもないために、精度が落ちるなどといったことはありえる？
• 論文
• Supplementary material
• GitHub
• 参考 Image-to-image translation with conditional adversarial networks (pix2pix)
• 参考 Unpaired image-to-image translation using cycle-consistent adversarial networks (Cycle GAN)

概要

GANの学習を安定して行うことができるwasserstein distance(WD)から導出されるsliced WDを導入することで、安定したGANの学習方法を提案。一次のデータに対する二次のWDを式(5)に示す。このままでは最適化が難しく、計算コストも大きいが、式(7)、(8)のようにソーティングを行うことで、WDは式(10)のように簡単な数式に置き換えることができる。この式(10)のことをsliced WDと呼ぶ。しかし実際には画像データは一次元ではなく、高次元であるため、random projectionによって画像データを任意の一次元ベクトルに射影することでsliced WDによる学習を行う。

新規性・結果・なぜ通ったか？

• sliced wasserstein distanceをgeneratorのロス関数として導入。
• 4つのネットワークが異なるgeneratorに対して、GAN loss、WD、sliced WDを用いてMNISTの学習を行ったところ、sliced WDが安定して質の高い画像を生成することができた。
• GAN、WGAN、generator+sliced WDのGANにおいてトレーニング時のイテレーションごとのKL-divergenceとsliced WDの値を確認したところ、KL-divergenceは値が増加する一方。sliced WDは値が安定していることを確認。
• MNIST、Toronto face dataset、CIFAR-10 dataset、CelebA、LSUN bedroomを用いた画像の生成を行った。

コメント・リンク集

• DNNの研究もかなり成熟してきており、数学的な理解が今後のコントリビューションに不可欠であると再認識させられた。
• WGANやwasserstein distanceとの比較が少ないように感じたが、これは自明のこととして書いていない？それとも比較結果があまり芳しくなかったから？
• 論文
• Supplementary material
• GitHub
• 参考 Wasserstein gan(WGAN)
• sliced wasserstein distanceを導入した論文：Sliced and radon wasserstein barycenters of measures. Journal of Mathematical Imaging and Vision

概要

自然画像が持つ類似パッチを利用した、自然画像のデノイジングを行うWNNMを一般の画像の任意のdegradation（ブラー、ピクセルの欠損など）に対するdistortionへ拡張した手法を提案。提案手法では以下のステップを踏んで画像のdistortionを行う

• 自然画像内の類似パッチを用いたWNNMによってデノイジングを行う。
• 自然画像には小さなパッチの模様は様々なスケールで画像に内に存在するという現象を用いて、画像の超解像とブラーのカーネルサイズを推定する。
• 最後に、expected patch log-likelihood (EPLL)を用いて全てのパッチに対する正則化を行う。最後に行う正則化はデータの種類に依存しない操作のため、任意のなdegradationに対応することが可能となる。

新規性・結果・なぜ通ったか？

• ガウシアンブラー、uniform blur、ピクセルの欠損(25%, 50%, 75%)の全てに対してSoTAを達成。
• イテレーションを増やすごとに精度は高くなるが、デブラーリングに関しては1.6分かけた1回のイテレーションによってSoTAを達成することができる。．
• PSNRを評価尺度とし、Set5、BSD100 datasetで検証

コメント・リンク集

• introductionで最近流行しているCNNではdegradationの種類ごとにトレーニングを行わないといけない、と真っ向からトレンドを否定した上でSoTAを達成していることがかっこいい。
• 論文
• Supplementary material
• 参考 Weighted nuclear norm minimization with application to image denoising (WNNM)

概要

画像の超解像を行うために、高解像度(HR)と低解像度(LR)の2つのstateを持ったRNNベースのモデルであるDual-State Recurrent Network (DSRN)を提案。画像の超解像はCNNで行われることが多いが、パラメタ数が多く、これを削減するためにRNNに着目。RNNを用いた画像の超解像を行うDRRNと異なる点として、提案ネットワークではbottom stateでLRを、top stateでHRをキャプチャし、 delayed feedback mechanismを用いることでLRとHRの双方向のマッピングを行う。

新規性・結果・なぜ通ったか？

• パラメタ数、精度的にDRRNに劣っているが、DRRNはトレーニングに画像が291種類必要なのに対して、提案手法では91枚のみでほぼ同等の精度となるため、提案手法の有効性を主張。
• Set5、Set14、B100、Urban100、DIV2K dataset of the NTIRE SR 2017 challengeで検証。PSNR、SSIM、IFCを評価尺度とした。スケールは２、３、4倍を比較。入力は128x128。

コメント・リンク集

• 精度としてSoTAと同等であっても、トレーニングに使用する画像が少なければ、CVPR的にはコントリビューションとなることを証明している論文。
• 論文
• GitHub(7/27段階では bibtexのみ)
• Image Super-Resolution via Deep Recursive Residual Network (DRRN)

概要

トリミングがされておらず、かつvideo-levelのactionラベル(動画内に存在するactionのラベル)を用いた弱教師学習によって、時系列上のaction localizationを行うSparse Temporal Pooling Network (STPN)を提案。提案手法では一定間隔で取り出された動画のセグメントに対してactionのclassificationロスと、各セグメントごとの、クラスに関わらず、actionのsparsityをL1ロスを用いて考慮することで、actionが存在し得るセグメントをプールしていくことでネットワークのトレーニングを行う。上記をRGBの入力とoptical-flowの入力を用いたtwo-streamで行う。

新規性・結果・なぜ通ったか？

• THUMOS14 、ActivityNet1.3 datasetにおいて、弱教師学習の手法においてSoTA。また、いくつかの教師あり学習と同等の精度を達成。
• 評価尺度はlocalizationのIoUの閾値におけるmAP

コメント・リンク集

• video-levelのアノテーションはトレーニング時のみ必要であり、テスト時にはあり得そうなactionのラベルから推定してくれることも実用性が高い。
• 論文
• Supplementary material

概要

facial action units (AUs)のアノテーションを用いず、顔画像から得られるAUsの確率分布を用いてAUsの識別を行う手法を提案。AUsは表情や個人に依存するため、専門家がアノテーションしなければならずデータセットの構築が難しい。提案手法では、解剖学てきな知見から得られるAUsの確率分布と表情に関する研究から得られるAUsの確率分布を使用し、それぞれのAUsの識別器を同時に学習する手法を提案。

新規性・結果・なぜ通ったか？

• CK+ database、MMI database、BP4D database、Emotion- Net databaseで実験。
• F値を評価尺度としてAUのアノテーションを使用していないSoTAの手法であるHTLよりも高い精度を達成。
• 顔のランドーマークで使用する特徴量や、最適化の際のロス関数の違いによる精度の比較を行なっており、いずれの設定でもSoTA。

コメント・リンク集

• 解剖学や表情の研究という超強力なpriorを用いた手法。他のタスクに応用するのは中々難しそう。
• 論文
• 参考 From emotions to action units with hidden and semi-hidden-task learning (HTL)

概要

複数のネットワークを同時並行で学習し、お互いの情報を共有することで最終的な精度を向上させるDeep Mutual Learning(DML)を提案。論文中では特に識別タスクを扱っている。それぞれのネットワークを通常の識別に関する教師あり学習のロスと、他のネットワークによる推定ラベルの確率分布を事前情報としたKL divergenceをロスとして用いることで学習を行なっていく。比較手法としてネットワークの蒸留をあげており、上流ではteacherネットワークはstudentネットワークよりも小さくなければいけないが、DMLでは小さなネットワークだけで学習を行うことでき、ネットワークのサイズにとらわれない枠組みとなっている。

新規性・結果・なぜ通ったか？

• 蒸留を行なった場合よりも高い精度を達成。
• 単体で学習を行うよりもDMLによって学習した場合の方が高い精度を達成。パラメタ数の多いWRN-28-10でも実験しており、DMLを行なったほうが0.5%程度精度が高くなっている。
• 同時に学習するネットワークの数が多いほど、最終的な精度も向上。
• ImageNetで事前学習を使用した方がさらに高い結果。人物認証ではMobileNet+DML+事前学習で精度が50.15%から70.51%まで向上。
• CIFAR-100を持ちいたカテゴリ識別、Market1501における人物認識で検証

コメント・リンク集

• 論文ではネットワークの蒸留などの転移学習と比較しているが、どちらかというとメタ学習に近い？
• 1 introductionにて、「提案手法が既存の転移学習に比べて良くなる理由ははっきりとはわかっていない。しかしあり得そうなのは、ネットワークごとに初期条件が異なるため、すぐにラベルの識別を行うことは可能になるがacc@top-2のカテゴリはネットワークごとに異なる問題があるが、DMLではこれを防ぐことができるため、既存の手法に優った」と述べている。
• 論文

概要

暗号化によるデータ圧縮とグラフ構造を用いた画像の類似度探索手法L&C(link and codeを提案。DNNなどで得られた特徴量をそのまま使用するとデータ容量が大きく、既存手法では精度が低いことを主張。提案手法ではデータ容量を小さくしつつ、検索精度を上げ、検索時間短くする手法を提案。各データベースで与えられている画像特徴量を暗号化を用いて圧縮し、次にHSNWというグラフベースのインデックス手法を用いてグラフを構築。グラフの精度向上のためにエンコードされた画像を復元し、近傍のデータから十分探索可能な場合には余計なデータを付加せず、そうでない場合には周囲のデータによる回帰をオフラインで行い、その回帰係数を格納する。

新規性・結果・なぜ通ったか？

• BIGANN、Deep1Bで実験。画像の検索におけるrecall@1/10/100を評価尺度とした。
• BIGANNのrecall@100以外ではSoTAを達成。また検索時間はBIGANNで2ms程度、Deep1Bで3.50ms程度と比較手法よりも短い結果となった。一方で比較手法による各画像のデータ容量は16B程度に対し、提案手法によるデータ容量はBIGANNで72バイト、Deep1Bで108バイトとなった。

コメント・リンク集

• 比較手法は提案手法よりも精度が低い分各画像のデータ容量が少ないが、比較手法でデータ容量を大きくすると精度が上がる分検索速度が落ちるため、提案手法の方が有利であると主張。
• 論文
• 参考 Hierarchical Navigable Small Worlds (HNSW)

概要

顕微鏡で撮影された細胞に対して画像的な見た目と生物学的な関係性を推定するために、CNNに対して半教師学習を行う。論文中に行われる実験では変異肺がん細胞の画像から遺伝子を推定するために、化学処理された変異肺がん細胞の画像を用いた化学処理のラベル推定をCNNで学習する。しかし化学処理は対象となる細胞が異なる場合には反応しないこともあるなど、ラベルとしてはかなりノイジーである。そこでRNN-based regularizationとmixup regularizationという２つの正則化を行う。RNN-based regularizationでは同じ化学処理や同じ細胞からは似たような特徴量を得るように学習し、mixup regularizationでは２つの画像をアルファブレンディングした時に、そのソース画像の識別とブレンド率の推定を行う。

新規性・結果・なぜ通ったか？

• 著者らが用意した細胞の画像において、トレーニング中には陽に学習していない遺伝子のID推定において既存手法よりも高い精度を達成。
• BBBC021データセットにおける、化学処理の識別において既存手法よりも高い精度を達成。
• ImageNetでプリトレインしたモデルと、ハンドクラフト特徴量による手法と比較。

コメント・リンク集

• データを用意できれば勝ちな研究分野な気がする。手法として完全に新しいのはRNN-based regularizationのようであるが、精度が出ていればCVPR的にはOK？
• 論文
• Supplementary material

概要

サブスペースクラスタリングを敵対的学習によって行うdeep adversarial subspace clustering (DASC) modelを提案。多くの既存手法ではハンドクラフトな特徴量を使用していたが、提案手法では初めて敵対的学習を教師無しの手法を提案。ネットワークは特徴量を抽出するencoder、画像のリコンストラクションを行うdecoder、sampling layerから得られたfakeデータと実際のデータ(real)を識別するdiscriminatorからなる。discriminatorはデータの識別を行う際に、realを超平面状に射影するような行列を作成しつつ、realは射影するエネルギーが小さいが、fakeは射影するエネルギーが大きいという過程のもとデータを識別。より良い射影行列を作成することでサブスペースクラスタリングを行う。

新規性・結果・なぜ通ったか？

• (MNIST, {ORL, YaleB, Umist}, COIL-20/100) を用いた手書き(文字認識、人物、物体)のクラスタリングにおいてSoTA。
• accuracy, normalized mutual information、purityを評価尺度とした。

コメント・リンク集

• サブスペースクラスタリングとは、クラスタが違った部分空間に存在すると仮定し，部分空間とクラスタを同時に見つけるクラスタリング手法。
• クラスタ毎に超平面への射影可能、という過程がかなり強い効果を発揮している。クラスタ数をさらに増やすと超平面ではクラスタ境界が曖昧になって精度は落ちる？
• 論文

概要

Bilinear Poolingは2次の統計量を用いているため非常に良い精度を出す一方で、出力の特徴量の次元数が膨大になるといった問題点がある。本論文はBilinear Poolingの次元数をコンパクトにしたネットワークMoNetを提案した。MoNetはSoTAと同等の精度を保ちながら、特徴量の次元を4%にまで落とすことに成功した。

手法・新規性

Bilinear Poolingの次元数を減らすためCompact Poolingが提案されたが、通常のBilinear Poolingをさらに拡張したiBCNNやG2DeNetに対しては、Gaussian EmbeddingとBlinear Poolingが絡んでいること点と行列の正規化が必要な点から適用することができない。そこでMoment Matrixを用いてGaussian EmbeddingとBilinear Poolingを別にし、sub-matrix square root layerを追加してBilinear Poolingの前に正規化を行うことでCompact Poolingを適用可能にした。

コメント・リンク集

• 論文

概要

そもそも要約動画として１つの最適解が存在するわけではないことを主張し、それぞれの視点に合わせて要約動画を行った研究。本研究では、動画間の類似度に着目し、フィッシャー判別から着想を得て、inner-summary variance、inner-group variance、between-group varianceに関して最適化を行うことで要約映像を生成した。また評価のためのデータセットを構築し、質的評価・量的評価を行った。

手法・新規性

要約動画として満たすべき条件として(1)要約動画内で分散があること、(2)同一グループ内の動画を代表することができること、(3)他のグループの動画と識別できることを挙げている。これらに対応する要素がフィッシャー判別から着想を得たinner-summary variance、inner-group variance、between-group varainceである。これらをC3Dで抽出した特徴量に対して計算し、最適化することで解を得る。

コメント・リンク集

• 論文

概要

高解像度化タスクはill-posed problemであるため取りうる解が複数あり、GANを用いてもリアルなテクスチャを生成できていないが、特定のカテゴリに特化して学習させたネットワークを用いればリアルなテクスチャが生成できるという事実から、セマンティックセグメンテーションを利用した高解像度化に着目した。しかし、すべてのカテゴリごとに学習したネットワークを用意することは非現実的であるため、Spatial Feature Transform（SFT）層を導入することで、単一のネットワークでカテゴリ情報を考慮した高解像度化を行った。

手法・新規性

SFT層は特徴量をアフィン変換をする層である。そのアフィン変換はスケールとシフトのパラメータで定義され、これらは各カテゴリごとの確率マップから与えられる。SFT層は従来のネットワークに導入することが可能であり、さらにセマンティックセグメンテーションに限らず、あらゆる事前知識（デプス情報など）に対しても適用可能である。

コメント・リンク集

• 論文

概要

CNNのニューロンの冗長性を軽減するため、分類タスクにおいて分類する直前の層（FRL: Final Response Layer）の復元誤差を最小化するようなPruning（特定のニューロンを削除）するアルゴリズムNeural Importance Score Propagation（NISP）を提案した。如何に精度を落とさず、ネットワークに必要なFLOP数を減らせるかの実験を行い、AlexNetにおいては67.85%のFLOP数を削減したネットワークが1.43%しか精度を落とさないようにすることに成功した。

手法・新規性

従来手法のほとんどは層ごとに独立して考えるか、次の層までを考慮にいれてPruningをする問題を解いていたが、重要なのは最後の層に与える影響であり、提案手法はそれを直接的に考慮している。提案手法はネットワークのPruning問題を、各ニューロンを削除すべきかいなかの0-1整数計画問題として定式化し、FRLの復元誤差を最小化する最適化問題を解く。実際には、目的関数を解析的に解くことはできないため、最適上限を求める問題に帰着させることで、閉経式で解くことが可能となった。

コメント・リンク集

• 論文
• Supplemental Material

概要

GANで教師あり学習をするタスクにおいて、DiscriminatorにSiamese Networkを適用することで直接教師データを損失関数に導入することが可能なMatching Adversarial Network（MatAN）を提案した。MatANは様々なGANで行う教師あり学習のタスクに適用することが可能であり、実験においてはsemantic segmentation、road network centerline extraction、instance segmentationのタスクに適用し、良い精度を出した。

手法・新規性

DiscriminatorをSiamese Networkにする。2枚の画像ペアのうち、1枚はground truthであり、もう1枚はnegative sampleはGeneratorによって生成された画像もしくはground truthに摂動を加えた画像である。学習の方法自体は、通常のGANと同様に、Discriminatorはrealかfakeかを識別できるように学習し、GeneratorはDiscriminatorの識別率を下げるように学習する。

コメント・リンク集

• 論文

概要

動的に映像内容が変化する360°動画における視線推定を行った論文。まず動的に映像内容が変化する360°動画の大規模データセットを構築し、そこから視線推定には過去の視線のパスと映像内容が重要であると分析し、その上でCNNとLSTMを組み合わせて顕著性と過去の視線のパスの両方を考慮した視線推定手法を提案した。

手法・新規性

論文で対象としている動画と従来研究が使用している動画の違いとして、1) 通常の映像では受動的に動画を視聴しがちであるが、360°動画では能動的に視聴しようとする点。2) 従来の360°動画は静的な映像内容のものを扱っていた点。3) 提案手法ではHMD内に搭載可能な7invensu a-Glassを用いており、頭部の動きに加えて注視点の情報を取得している点を挙げている。データセットには音声情報もついており、360°動画における音声情報を考慮した研究も今後行っていくとのこと。

コメント・リンク集

• 論文
• Supplemental Material

概要

高解像のタスクに対して、アップサンプリングとダウンサンプリングを交互に繰り返す構造を持つDeep Back-Projection Networks（DBPN）を提案した。従来のネットワークはアップサンプリングを行う方向（feed-forward connection）しか考えておらず、それをダウンサンプリングする方向（feedback connection）を考えていなかったため、大きなスケール変化に対応できていなかった。本論文は1991年のCVGIPで発表された論文に発想を得て、アップサンプリングとダウンサンプリングを交互に繰り返す構造を取り、SoTAを達成した。

手法・新規性

DBPNはup-projection unitとdown-projection unitからなる。up-projection unitの手順は、1) 一つ前の状態の低解像度画像（LR）をスケールアップし高解像度画像（HR）を生成し、2) 次にHRをスケールダウンさせたLRを得る、3) スケールアップとスケールダウンを経て得られたLRと入力のLRの差分を計算した後、4) その差分を元に再度スケールアップをすることでHRを得る、5) 最後にこのHRと最初にスケールアップで得られたHRを足し合わせたものを最終的なHRの出力とする。down-projection unitはこの反対の操作を行う。

コメント・リンク集

• 論文
• Supplemental Material

概要

属性を階層的に選びながら画像生成できるDTLC-GANを提案．階層的な構造を課すために，我々はDTLCと呼ばれる新しいアーキテクチャを生成器入力に組み込む．DTLCとは，教師データなしまたは，最上位層の教師データだけで改装の表現を自動で発見できるアルゴリズムである．DTLC-GANをMNIST，CIFAR-10，Tiny ImageNet，3D Faces，CelebAなどのさまざまなデータセットで画像生成や画像検索のタスクの有効性を確認した．

新規性・結果・なぜ通ったか？

• アーキテクチャを階層的に使用することにより、上位層の階層に応じて下位層のコードを選択的に使用する潜在空間が得られる．
• HCMIと呼ばれる正則化により，単一のDTLC-GANモデルのみを使用して、階層的に絡み合わない表現を学習することが可能になる．
• DTANと呼ばれる新しいアーキテクチャをGANに組み込み、階層的な構造を作成する．

コメント・リンク集

• 画像検索などの他のタスクにも応用できそう
• Paper

概要

アウトライヤのあるデータについての部分空間クラスタリングでは，正則化最適化による従来法によればデータサイズに対して計算複雑性が多項式スケールで伸びる． ======= <<<<<<< HEAD Omniglotの多くの条件でSOTA,miniImageNetにおいてもSOTA．

新規性・結果・なぜ通ったか？

• Memory Networkとbi-LSTMを上手く用いることで，one-shot learningにおいて，学習時と評価時とを同じ手順で行うことを実現
• One-shot learningで最もよく使われるOmniglot datasetでは98.95%から99.28%のaccuracyを達成．また，miniImageNetでは49.21%から53.57%のaccuracyを達成．

コメント・リンク集

• ネットワーク構造，学習手順ともに相当複雑なので，実際に実装して学習の様子を見てみたいところ
• 論文

概要

・ 超解像やノイズ除去などのLow-level VisionのためのDualCNNの提案・ DualCNNでは全体の構造の推定，細部の推定をそれぞれ行い超解像やノイズ除去などのタスクに応じた定式化を行い画像の生成を行う

新規性・結果・なぜ通ったか？

・従来の超解像やノイズ除去はそれぞれタスクに特化したアーキテクチャが考案されていたが，本手法では1つのネットワークで最先端の手法と同等の精度を実現

コメント・リンク集

• 論文
• Supplementary material

概要

密集した物体を追跡するタスクを行うため、蜂の巣を撮影し、映像中の蜂についてそれぞれの位置と方向がラベル付けされたデータセットを構築したのち、CNNで追跡するタスクを行った論文。実験の結果、人間と同等の精度で密集した蜂を追跡することに成功した。

手法・新規性

セグメンテーションを行うU-Netの構造と類似しているが、ネットワークサイズを94%削減したネットワークに対して、物体の同定と向いている方向に関する損失関数を設計した。向いている方向の精度を向上させるため、再帰的なフレームワークを導入することで人間と同等の精度を達成した。

コメント・リンク集

• 論文
• Supplemental Material (zip)
• データセット

概要

クラス分類タスクに対してLow-Shot Learningを行うためのWeight Imprintingという技術を提案した論文。Low-Shot Learningは予め十分な量のデータが与えられて学習した後に、データ数が非常に少ない分類すべき新しいクラスが与えられ、その上でそれらを分類するタスクである。Weight Imprintingはすでに学習したクラスの部分に変更を加えないため、学習コストが少なく、少ないデータ数で学習可能である。

手法・新規性

Weight Imprintingはクラス分類器に適用する手法である。通常のCNNによるクラス分類器と異なる点は、畳み込み層から得られた特徴量を正規化する点と、バイアス項のない全結合層である点である。バイアス項がないため、重み係数は正規化された特徴量のテンプレートとして機能する。したがって、分類すべき新しいクラスが与えられたときに、その正規化された特徴量をそのまま重み係数とすることができる。複数のサンプルが与えられた場合は平均を計算して、重み係数とする。Weight Imprintingはテンプレートとして機能する重み係数との内積をが最大となるクラスを推定結果とするため、Nearest Neightborと同等の機能を持っている。

コメント・リンク集

• 論文

概要

データサイズに依存せず、RANSACを定数時間で行えるようにした論文。RANSACのボトルネックはサンプリングした仮説を検証するステップにあるため、従来その検証を高速化する手法が提案されてきたが、提案手法は検証を行う前に潜在空間でフィルタリングを行うことで妥当な仮説のみを検証することで高速化を行った。

新規性・結果・なぜ通ったか？

従来のRANSACでは全ての仮説を検証していたが、提案手法ではそれを高速にフィルタリングする。このフィルタリングのプロセスは、まず潜在空間上にパラメータ化し、それに対してRandom Grid Hashingを用いて、現在の仮説がそれ以前に生成された仮設と衝突するか否かを検証することで行われる。この検証前のプロセスの改良に伴い、それに適した探索を終了する基準も提案した。

コメント・リンク集

• 論文

概要

ニューラルネットワークにおけるTemporal Match Kernelを再考し、動画の比較や位置合わせができる学習可能なTemporal Layerを用いた手法（LAMV：Learnable to Align and Match Videos）を提案した論文。Video Alignment、Cody Detection、Event RetrievalのタスクでSoTAを実現した。

手法・新規性

同じネットワークを通して得られた特徴量を比較するという意味では、LAMVはSiamese Networkと類似したアプローチである。Temporal Match Kernelを微分可能なレイヤーとすることでニューラルネットワークの導入する。損失関数はベースとなる動画と重複部分を持つ動画と重複部分を持たない動画に対してTriplet Lossを取る。

コメント・リンク集

• 論文

概要

CNNの特徴量表現の識別性能を向上させるため、幾何学的変形に不変なプーリング手法であるSubspace Poolingを提案した論文。さらに精度を向上させるため、Marginal Triplet Lossにカーネル法を適用し、Bilinear Poolingより良い精度を少ないメモリ容量で実現した。

手法・新規性

Subspace Poolingは特徴量マップを列成分に並べた行列に対してSVDによって次元圧縮を行う。この方法は、行列の行成分の順列（位置に関する入れ替え）に対して不変である。Patch Matchingのような2点距離を測るようなタスクに対しては、Subspace Poolingで得られた特徴量をガウシアンカーネルを用いたカーネル法を適用することができ、これによりさらに精度を向上させた。

コメント・リンク集

• 論文

概要

Disentanglementタスクを敵対的ネットワークの構造を利用して行った論文。Disentanglementとは要因を分解するようなタスクであり、手書き文字であれば何の文字が書かれているかという情報と書かれている文字のスタイルを分離するようなタスクである。提案手法は最初に正解ラベルを与えられるようなタスクを学習させた後、それ以外の要素を抽出するようにもう一つのネットワークを学習させることでこれを実現した。実験では、分離した2つの要因を補間したり、掛け合わせたりする検証と2つの要因に相関が無くなっているかを確認するための検索タスクを行った。

手法・新規性

まず初めにネットワークSを正解ラベルの存在するクラス分類のタスクで学習させる。次にSとは異なるネットワークZを学習するのだが、SのエンコーダとZのエンコーダから得られた特徴量からReconstructionするように学習するブランチと、Zのエンコーダから得られた特徴量からできるだけクラス分類の精度が下がるように学習するブランチで学習する。特にクラス分類の精度を下げるように学習する方は、クラス分類に必要な情報をできるだけ忘れるようになっており、Disentanglementのタスクに効いている。

コメント・リンク集

• 論文
• GitHub

概要

PointNetでは考慮出来ていない, PointCloud の局所的な構造を抽出するために, 新しい２つの演算 (kernel correlation と graph-based pooling) を提案. classification と segmentation のタスクで行った評価実験では PointNet++ と同等以上の結果をより少ないパラメータ数で達成した.

新規性・結果・なぜ通ったか？

• PointNetでは考慮出来ていない, PointCloud の局所的な構造を抽出するための新しい２つの演算を提案
• 1つ目として, 局所的な幾何構造の Affinity を測るための kernel correlation を提案
• 誤差逆伝播時に kernel point の位置を調整出来るようにすることで, 最も効果的なテンプレートの形状を学習
• 2つ目として, 局所的な高次元特徴をみるために, graph-based pooling を提案
• classification と segmentation のタスクで評価実験
• classification では MVCNN のような画像と volume の両方を入力とする手法と同等の高い精度を達成 (ModelNetを評価に使用)
• segmentation では PointNet(追加情報として法線も入力)と同等の結果を達成（ShapeNetを評価に使用）

コメント・リンク集

• [論文] Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling
• [Code] MITSUBISHI ELECTRIC RESEARCH LABORATORIES

概要

この研究では以下に示す3つのことを行なった．

1. 人の視線推定のため，DHF1Kと呼ばれる新しいデータセットを提案．
2. 動的シーンにおける人の視線推定のため，新たにCNN-LSTMアーキテクチャを提案．
3. ビデオサリエンシーモデルを分析．

DHF1Kデータセットは，1000個の動画から構成されており，シーン，モーション，アクティビティ等が既存データセットよりも幅広くカバーされている．

新規性・結果・なぜ通ったか？

DHF1K, Hollywood2, UCF sportsデータセットを用いて実験を行なった結果，提案モデルがSOTAモデルよりも優れていることがわかった．評価指標としては，Normalized Scanpath Saliency, Similarity Metric, Linear Correlation Coefficient, AUC-Judd, shuffled AUCを用いた．

コメント・リンク集

• 論文URL
• github

概要

弱教師（画像レベルのアノテーション）によって Textual phrase localization を行う研究. 提案手法では anchor constraint の元で fine-grained な Bounding Box を連続的に探すことが可能. Flickr30K Entities と ReferItGane datasets を用いた評価実験では, 既存の弱教師に基づく手法に大きな差をつけてSOTAを達成した.

新規性・結果・なぜ通ったか？

• 画像レベルのアノテーションから Textual phrase localization を行うネットワーク, Multi-scale Anchored Transformer Network（MATN）を提案
• 提案手法は region proposal から生成された anchor constraint の元で Affine 変換のパラメータを推定
• 上記により, fine-grained な Bouding Box を連続的に探すことができる (Bouding Box の候補から選ぶのではなく)
• ネットワークは, 画像から連想される他のフレーズとの contrastive reconstruction loss と 同じようなフレーズを持つ画像とのtriplet loss によって学習
• Flickr30K Entities と ReferItGane datasets を用いた評価実験では, GroundeR 等の既存の手法と比較してSOTAを達成. 特に IoU で評価して高い精度を要求される場合は, 提案手法が有効であることを確認.

コメント・リンク集

• [論文] Weakly Supervised Phrase Localization with Multi-Scale Anchored Transformer Network

概要

Multi-domain なパッチベースの object counting の新しいモデルを提案. 提案手法は multi-domain に対応するための domain specific modules を内包しており, 全体のパラメータの内 5% を追加で学習するだけで新しい domain に対応することが出来る. 評価実験では, 単一のモデルで異なる domain に対する数え上げのタスクでSOTAを達成した.

新規性・結果・なぜ通ったか？

• Multi-domain なパッチベースの object counting の新しいモデルを提案
• 提案されたネットワークは画像特徴量抽出のための CNN と数え上げのための全結合層のネットワーク（５層）から構成
• CNN は学習済みの画像分類のネットワークを使用（実験では MobileNet が最も高精度を達成）
• 各全結合層の後には multi-domain に対応するための domain specific modules が配置されており, 新しい domain の学習はこのモジュールのパラメータ（全体の5%程度）を用いて行う
• Cell Counting のデータセット Dublin Cell Counting (DCC) dataset を公開
• 単一のモデルで異なる domain に対する数え上げのタスクでSOTAを達成 (Shanghaitech and Penguins Dataset)

コメント・リンク集

• [論文] People, Penguins and Petri Dishes: Adapting Object Counting Models To New Visual Domains And Object Types Without Forgetting

概要

オブジェクト画像に対するCNNの計算コストを削減するために、画像の前景に対する離散的なマスクを生成し、convolutionを行うSparse Blocks Networks (SBNet)を提案。従来のCNNでは画像全体に一様にconvolutionの操作を行うため計算コストが高い。また、既存手法では構造的な離散化を行なっていないために、計算コストは小さくなっても実行時間が短くならないという問題点があった。提案手法では多くのオブジェクト画像は周りを背景で囲まれており、一部の領域にオブジェクトが存在するという構造情報に基づいて、前景の可能性が高い領域に対する離散的なマスクを形成する。これを入力テンソルに適用することで小さい計算コストで精度を落とすことなくCNNの学習を行う。

新規性・結果・なぜ通ったか？

• 様々なスケールのsparsityを使ったマスクにおいて、同様のサイズのカーネルをもつCNNと比較したところ、提案ネットーワークの方が10倍程度速く実行可能。
• KITTI Bird’s Eye View (BEV) 2017 Benchmarkにおいて、SoTAと同等の精度を3分の1程度の実行時間17.9msで達成。
• 既存研究とは異なり、提案手法がマスクのsparse度合いに比例してテスト時のスピードが向上していることを示しており、提案手法が真に有効なマスクの離散化を行っていることを主張している。

コメント・リンク集

• 論文中には所狭しと結果の画像と既存研究との比較を行った表が並べられており、徹底した評価を行っている。
• 論文
• Project page
• GitHub

概要

人間の軌道予測を行う際に、頭部の向き情報を加えたLSTMベースのネットワークMiXing LSTMを提案。事前実験により人間の歩行軌道と頭部の向きが関係することを明らかにした上で、手法を提案。xy平面状の軌道(tracklets)と頭部の向き(vislets)の両方のstreamを考慮する。また、既存手法であるSocial LSTMでは周りの歩行者の軌道を隠れ変数として考慮していたが、提案手法では推定された頭部の向きを中心とした視野角内に存在する歩行者のみを考慮することで精度の向上を図っている。最適化にはd-variate Gaussian parametersを用いた。

新規性・結果・なぜ通ったか？

• Mean Average Displacement error, Final Average Displacement errorを評価尺度とした。
• UCY sequences (Zara01、Zara02、UCY)、in the TownCentre datasetの全てにおいてSoTAを達成。
• 頭部の方向推定についてもSoTAと同等の精度を獲得。
• 既存のモデルでは速さが小さいほどエラーが大きかったが、提案手法では比較的、速さに依存せずエラーを抑えることができている。

コメント・リンク集

• 新しく用いた情報はかなりシンプルで経験的に誰でも思いつきそうだが、それを初めて実装してSoTAを出していることがすごい！このように誰にでも納得できるpriorを取り入れることができたこともアクセプトに繋がった要因かもしれない。
• 論文
• 参考 Social LSTM: Human Trajectory Prediction in Crowded Spaces (Social LSTM)

概要

直接観測していない四次元light fieldを観測可能な物体によるディフューズ面に投影された二次元平面上の影から推定する手法を提案。既存研究としてtime-of-flightカメラを用いて二次反射光による観測可能な反射と見えていないシーンを含んだ全てのシーンとの関係性と、ありえそうなシーンの構造を事前情報として用いて観測できないシーンのオブジェクト数を数えるnon-line-of-sight (NLoS) imagingをあげているが、この研究ではよりチャレンジングな目的を達成する。提案手法ではNLoSで使用されている二次反射光に加えて、現実のシーンではスペクトルが低周波成分に集中するという情報を用いることで平面上の影から観測不可能な四次元光を推定する。

新規性・結果・なぜ通ったか？

• CG空間のモデルと現実空間で撮影された影の画像に対して四次元light fieldの推定を行った。
• GTとの復元された画像とのPSNRで比較。既存研究が存在しないためか、比較は行っていないが、良好な結果が得られた。
• 観測できる物体として人間と観葉植物で実験しており、観葉植物のような複雑な形状を持っている物体に対しても良好な結果が得られた。

コメント・リンク集

• かなりチャレンジングな目的を達成した論文！しかし、データが揃ったり、効果的な半教師/教師なし学習が考案されれば、この手の問題は制度だけを求めるならばDNNで解決できる？
• 論文

概要

異なるドメイン間の画像変換において、ある一つのドメインとその他のドメイン間の画像変換をトレーニングすることで、テスト時にはトレーニングを行っていないドメイン間の画像変換を行うmix and match networksを提案。提案ネットワークはautoencoderによって構築される。以下ではdepth(D) to semantic segmentation(S)を行うために、RGB(R) to D, R to Sをトレーニングするロス関数を説明する。

• Rドメイン：R-S、D-R、R-R間で生成された画像に対するL2ノルム、GAN loss
• D(S)ドメイン：R-D(S)間の変換画像、D(S)ドメインにおけるautoencoderの出力画像、とのそれぞれの入力画像におけるBerhu loss
• 潜在変数空間：R-S(D)、S(D)-R間のそれぞれの潜在変数のL2ノルム

新規性・結果・なぜ通ったか？

• SceneNetRGBDで実験。提案手法でRGBとdepth間、RGBとsemantic segmentation間を学習したモデルにおけるdepth-to-segmentationの精度をmIoU、global scoreで比較。
• ablation studyにより、pooling indicesや各ロス関数の重要性を確認。特にpooling indicesによってmIoUの精度が4%向上。
• Cycle GAN、2xpix2pixよりも高い精度を達成。
• カラートランスファー、スタイルトランスファーでも質の高い画像を生成できることを確認。

コメント・リンク集

• ハイパーパラメタが5つあり、これの調整が結構シビア？
• どのドメインを起点とするかで結果の精度は変わる？起点をデプスにすると、情報量がRGBよりもないために、精度が落ちるなどといったことはありえる？
• 論文
• Supplementary material
• GitHub
• 参考 Image-to-image translation with conditional adversarial networks (pix2pix)
• 参考 Unpaired image-to-image translation using cycle-consistent adversarial networks (Cycle GAN)

概要

GANの学習を安定して行うことができるwasserstein distance(WD)から導出されるsliced WDを導入することで、安定したGANの学習方法を提案。一次のデータに対する二次のWDを式(5)に示す。このままでは最適化が難しく、計算コストも大きいが、式(7)、(8)のようにソーティングを行うことで、WDは式(10)のように簡単な数式に置き換えることができる。この式(10)のことをsliced WDと呼ぶ。しかし実際には画像データは一次元ではなく、高次元であるため、random projectionによって画像データを任意の一次元ベクトルに射影することでsliced WDによる学習を行う。

新規性・結果・なぜ通ったか？

• sliced wasserstein distanceをgeneratorのロス関数として導入。
• 4つのネットワークが異なるgeneratorに対して、GAN loss、WD、sliced WDを用いてMNISTの学習を行ったところ、sliced WDが安定して質の高い画像を生成することができた。
• GAN、WGAN、generator+sliced WDのGANにおいてトレーニング時のイテレーションごとのKL-divergenceとsliced WDの値を確認したところ、KL-divergenceは値が増加する一方。sliced WDは値が安定していることを確認。
• MNIST、Toronto face dataset、CIFAR-10 dataset、CelebA、LSUN bedroomを用いた画像の生成を行った。

コメント・リンク集

• DNNの研究もかなり成熟してきており、数学的な理解が今後のコントリビューションに不可欠であると再認識させられた。
• WGANやwasserstein distanceとの比較が少ないように感じたが、これは自明のこととして書いていない？それとも比較結果があまり芳しくなかったから？
• 論文
• Supplementary material
• GitHub
• 参考 Wasserstein gan(WGAN)
• sliced wasserstein distanceを導入した論文：Sliced and radon wasserstein barycenters of measures. Journal of Mathematical Imaging and Vision

概要

自然画像が持つ類似パッチを利用した、自然画像のデノイジングを行うWNNMを一般の画像の任意のdegradation（ブラー、ピクセルの欠損など）に対するdistortionへ拡張した手法を提案。提案手法では以下のステップを踏んで画像のdistortionを行う

• 自然画像内の類似パッチを用いたWNNMによってデノイジングを行う。
• 自然画像には小さなパッチの模様は様々なスケールで画像に内に存在するという現象を用いて、画像の超解像とブラーのカーネルサイズを推定する。
• 最後に、expected patch log-likelihood (EPLL)を用いて全てのパッチに対する正則化を行う。最後に行う正則化はデータの種類に依存しない操作のため、任意のなdegradationに対応することが可能となる。

新規性・結果・なぜ通ったか？

• ガウシアンブラー、uniform blur、ピクセルの欠損(25%, 50%, 75%)の全てに対してSoTAを達成。
• イテレーションを増やすごとに精度は高くなるが、デブラーリングに関しては1.6分かけた1回のイテレーションによってSoTAを達成することができる。．
• PSNRを評価尺度とし、Set5、BSD100 datasetで検証

コメント・リンク集

• introductionで最近流行しているCNNではdegradationの種類ごとにトレーニングを行わないといけない、と真っ向からトレンドを否定した上でSoTAを達成していることがかっこいい。
• 論文
• Supplementary material
• 参考 Weighted nuclear norm minimization with application to image denoising (WNNM)

概要

画像の超解像を行うために、高解像度(HR)と低解像度(LR)の2つのstateを持ったRNNベースのモデルであるDual-State Recurrent Network (DSRN)を提案。画像の超解像はCNNで行われることが多いが、パラメタ数が多く、これを削減するためにRNNに着目。RNNを用いた画像の超解像を行うDRRNと異なる点として、提案ネットワークではbottom stateでLRを、top stateでHRをキャプチャし、 delayed feedback mechanismを用いることでLRとHRの双方向のマッピングを行う。

新規性・結果・なぜ通ったか？

• パラメタ数、精度的にDRRNに劣っているが、DRRNはトレーニングに画像が291種類必要なのに対して、提案手法では91枚のみでほぼ同等の精度となるため、提案手法の有効性を主張。
• Set5、Set14、B100、Urban100、DIV2K dataset of the NTIRE SR 2017 challengeで検証。PSNR、SSIM、IFCを評価尺度とした。スケールは２、３、4倍を比較。入力は128x128。

コメント・リンク集

• 精度としてSoTAと同等であっても、トレーニングに使用する画像が少なければ、CVPR的にはコントリビューションとなることを証明している論文。
• 論文
• GitHub(7/27段階では bibtexのみ)
• Image Super-Resolution via Deep Recursive Residual Network (DRRN)

概要

トリミングがされておらず、かつvideo-levelのactionラベル(動画内に存在するactionのラベル)を用いた弱教師学習によって、時系列上のaction localizationを行うSparse Temporal Pooling Network (STPN)を提案。提案手法では一定間隔で取り出された動画のセグメントに対してactionのclassificationロスと、各セグメントごとの、クラスに関わらず、actionのsparsityをL1ロスを用いて考慮することで、actionが存在し得るセグメントをプールしていくことでネットワークのトレーニングを行う。上記をRGBの入力とoptical-flowの入力を用いたtwo-streamで行う。

新規性・結果・なぜ通ったか？

• THUMOS14 、ActivityNet1.3 datasetにおいて、弱教師学習の手法においてSoTA。また、いくつかの教師あり学習と同等の精度を達成。
• 評価尺度はlocalizationのIoUの閾値におけるmAP

コメント・リンク集

• video-levelのアノテーションはトレーニング時のみ必要であり、テスト時にはあり得そうなactionのラベルから推定してくれることも実用性が高い。
• 論文
• Supplementary material

概要

facial action units (AUs)のアノテーションを用いず、顔画像から得られるAUsの確率分布を用いてAUsの識別を行う手法を提案。AUsは表情や個人に依存するため、専門家がアノテーションしなければならずデータセットの構築が難しい。提案手法では、解剖学てきな知見から得られるAUsの確率分布と表情に関する研究から得られるAUsの確率分布を使用し、それぞれのAUsの識別器を同時に学習する手法を提案。

新規性・結果・なぜ通ったか？

• CK+ database、MMI database、BP4D database、Emotion- Net databaseで実験。
• F値を評価尺度としてAUのアノテーションを使用していないSoTAの手法であるHTLよりも高い精度を達成。
• 顔のランドーマークで使用する特徴量や、最適化の際のロス関数の違いによる精度の比較を行なっており、いずれの設定でもSoTA。

コメント・リンク集

• 解剖学や表情の研究という超強力なpriorを用いた手法。他のタスクに応用するのは中々難しそう。
• 論文
• 参考 From emotions to action units with hidden and semi-hidden-task learning (HTL)

概要

複数のネットワークを同時並行で学習し、お互いの情報を共有することで最終的な精度を向上させるDeep Mutual Learning(DML)を提案。論文中では特に識別タスクを扱っている。それぞれのネットワークを通常の識別に関する教師あり学習のロスと、他のネットワークによる推定ラベルの確率分布を事前情報としたKL divergenceをロスとして用いることで学習を行なっていく。比較手法としてネットワークの蒸留をあげており、上流ではteacherネットワークはstudentネットワークよりも小さくなければいけないが、DMLでは小さなネットワークだけで学習を行うことでき、ネットワークのサイズにとらわれない枠組みとなっている。

新規性・結果・なぜ通ったか？

• 蒸留を行なった場合よりも高い精度を達成。
• 単体で学習を行うよりもDMLによって学習した場合の方が高い精度を達成。パラメタ数の多いWRN-28-10でも実験しており、DMLを行なったほうが0.5%程度精度が高くなっている。
• 同時に学習するネットワークの数が多いほど、最終的な精度も向上。
• ImageNetで事前学習を使用した方がさらに高い結果。人物認証ではMobileNet+DML+事前学習で精度が50.15%から70.51%まで向上。
• CIFAR-100を持ちいたカテゴリ識別、Market1501における人物認識で検証

コメント・リンク集

• 論文ではネットワークの蒸留などの転移学習と比較しているが、どちらかというとメタ学習に近い？
• 1 introductionにて、「提案手法が既存の転移学習に比べて良くなる理由ははっきりとはわかっていない。しかしあり得そうなのは、ネットワークごとに初期条件が異なるため、すぐにラベルの識別を行うことは可能になるがacc@top-2のカテゴリはネットワークごとに異なる問題があるが、DMLではこれを防ぐことができるため、既存の手法に優った」と述べている。
• 論文

概要

暗号化によるデータ圧縮とグラフ構造を用いた画像の類似度探索手法L&C(link and codeを提案。DNNなどで得られた特徴量をそのまま使用するとデータ容量が大きく、既存手法では精度が低いことを主張。提案手法ではデータ容量を小さくしつつ、検索精度を上げ、検索時間短くする手法を提案。各データベースで与えられている画像特徴量を暗号化を用いて圧縮し、次にHSNWというグラフベースのインデックス手法を用いてグラフを構築。グラフの精度向上のためにエンコードされた画像を復元し、近傍のデータから十分探索可能な場合には余計なデータを付加せず、そうでない場合には周囲のデータによる回帰をオフラインで行い、その回帰係数を格納する。

新規性・結果・なぜ通ったか？

• BIGANN、Deep1Bで実験。画像の検索におけるrecall@1/10/100を評価尺度とした。
• BIGANNのrecall@100以外ではSoTAを達成。また検索時間はBIGANNで2ms程度、Deep1Bで3.50ms程度と比較手法よりも短い結果となった。一方で比較手法による各画像のデータ容量は16B程度に対し、提案手法によるデータ容量はBIGANNで72バイト、Deep1Bで108バイトとなった。

コメント・リンク集

• 比較手法は提案手法よりも精度が低い分各画像のデータ容量が少ないが、比較手法でデータ容量を大きくすると精度が上がる分検索速度が落ちるため、提案手法の方が有利であると主張。
• 論文
• 参考 Hierarchical Navigable Small Worlds (HNSW)

概要

顕微鏡で撮影された細胞に対して画像的な見た目と生物学的な関係性を推定するために、CNNに対して半教師学習を行う。論文中に行われる実験では変異肺がん細胞の画像から遺伝子を推定するために、化学処理された変異肺がん細胞の画像を用いた化学処理のラベル推定をCNNで学習する。しかし化学処理は対象となる細胞が異なる場合には反応しないこともあるなど、ラベルとしてはかなりノイジーである。そこでRNN-based regularizationとmixup regularizationという２つの正則化を行う。RNN-based regularizationでは同じ化学処理や同じ細胞からは似たような特徴量を得るように学習し、mixup regularizationでは２つの画像をアルファブレンディングした時に、そのソース画像の識別とブレンド率の推定を行う。

新規性・結果・なぜ通ったか？

• 著者らが用意した細胞の画像において、トレーニング中には陽に学習していない遺伝子のID推定において既存手法よりも高い精度を達成。
• BBBC021データセットにおける、化学処理の識別において既存手法よりも高い精度を達成。
• ImageNetでプリトレインしたモデルと、ハンドクラフト特徴量による手法と比較。

コメント・リンク集

• データを用意できれば勝ちな研究分野な気がする。手法として完全に新しいのはRNN-based regularizationのようであるが、精度が出ていればCVPR的にはOK？
• 論文
• Supplementary material

概要

サブスペースクラスタリングを敵対的学習によって行うdeep adversarial subspace clustering (DASC) modelを提案。多くの既存手法ではハンドクラフトな特徴量を使用していたが、提案手法では初めて敵対的学習を教師無しの手法を提案。ネットワークは特徴量を抽出するencoder、画像のリコンストラクションを行うdecoder、sampling layerから得られたfakeデータと実際のデータ(real)を識別するdiscriminatorからなる。discriminatorはデータの識別を行う際に、realを超平面状に射影するような行列を作成しつつ、realは射影するエネルギーが小さいが、fakeは射影するエネルギーが大きいという過程のもとデータを識別。より良い射影行列を作成することでサブスペースクラスタリングを行う。

新規性・結果・なぜ通ったか？

• (MNIST, {ORL, YaleB, Umist}, COIL-20/100) を用いた手書き(文字認識、人物、物体)のクラスタリングにおいてSoTA。
• accuracy, normalized mutual information、purityを評価尺度とした。

コメント・リンク集

• サブスペースクラスタリングとは、クラスタが違った部分空間に存在すると仮定し，部分空間とクラスタを同時に見つけるクラスタリング手法。
• クラスタ毎に超平面への射影可能、という過程がかなり強い効果を発揮している。クラスタ数をさらに増やすと超平面ではクラスタ境界が曖昧になって精度は落ちる？
• 論文

概要

Bilinear Poolingは2次の統計量を用いているため非常に良い精度を出す一方で、出力の特徴量の次元数が膨大になるといった問題点がある。本論文はBilinear Poolingの次元数をコンパクトにしたネットワークMoNetを提案した。MoNetはSoTAと同等の精度を保ちながら、特徴量の次元を4%にまで落とすことに成功した。

手法・新規性

Bilinear Poolingの次元数を減らすためCompact Poolingが提案されたが、通常のBilinear Poolingをさらに拡張したiBCNNやG2DeNetに対しては、Gaussian EmbeddingとBlinear Poolingが絡んでいること点と行列の正規化が必要な点から適用することができない。そこでMoment Matrixを用いてGaussian EmbeddingとBilinear Poolingを別にし、sub-matrix square root layerを追加してBilinear Poolingの前に正規化を行うことでCompact Poolingを適用可能にした。

コメント・リンク集

• 論文

概要

そもそも要約動画として１つの最適解が存在するわけではないことを主張し、それぞれの視点に合わせて要約動画を行った研究。本研究では、動画間の類似度に着目し、フィッシャー判別から着想を得て、inner-summary variance、inner-group variance、between-group varianceに関して最適化を行うことで要約映像を生成した。また評価のためのデータセットを構築し、質的評価・量的評価を行った。

手法・新規性

要約動画として満たすべき条件として(1)要約動画内で分散があること、(2)同一グループ内の動画を代表することができること、(3)他のグループの動画と識別できることを挙げている。これらに対応する要素がフィッシャー判別から着想を得たinner-summary variance、inner-group variance、between-group varainceである。これらをC3Dで抽出した特徴量に対して計算し、最適化することで解を得る。

コメント・リンク集

• 論文

概要

高解像度化タスクはill-posed problemであるため取りうる解が複数あり、GANを用いてもリアルなテクスチャを生成できていないが、特定のカテゴリに特化して学習させたネットワークを用いればリアルなテクスチャが生成できるという事実から、セマンティックセグメンテーションを利用した高解像度化に着目した。しかし、すべてのカテゴリごとに学習したネットワークを用意することは非現実的であるため、Spatial Feature Transform（SFT）層を導入することで、単一のネットワークでカテゴリ情報を考慮した高解像度化を行った。

手法・新規性

SFT層は特徴量をアフィン変換をする層である。そのアフィン変換はスケールとシフトのパラメータで定義され、これらは各カテゴリごとの確率マップから与えられる。SFT層は従来のネットワークに導入することが可能であり、さらにセマンティックセグメンテーションに限らず、あらゆる事前知識（デプス情報など）に対しても適用可能である。

コメント・リンク集

• 論文

概要

CNNのニューロンの冗長性を軽減するため、分類タスクにおいて分類する直前の層（FRL: Final Response Layer）の復元誤差を最小化するようなPruning（特定のニューロンを削除）するアルゴリズムNeural Importance Score Propagation（NISP）を提案した。如何に精度を落とさず、ネットワークに必要なFLOP数を減らせるかの実験を行い、AlexNetにおいては67.85%のFLOP数を削減したネットワークが1.43%しか精度を落とさないようにすることに成功した。

手法・新規性

従来手法のほとんどは層ごとに独立して考えるか、次の層までを考慮にいれてPruningをする問題を解いていたが、重要なのは最後の層に与える影響であり、提案手法はそれを直接的に考慮している。提案手法はネットワークのPruning問題を、各ニューロンを削除すべきかいなかの0-1整数計画問題として定式化し、FRLの復元誤差を最小化する最適化問題を解く。実際には、目的関数を解析的に解くことはできないため、最適上限を求める問題に帰着させることで、閉経式で解くことが可能となった。

コメント・リンク集

• 論文
• Supplemental Material

概要

GANで教師あり学習をするタスクにおいて、DiscriminatorにSiamese Networkを適用することで直接教師データを損失関数に導入することが可能なMatching Adversarial Network（MatAN）を提案した。MatANは様々なGANで行う教師あり学習のタスクに適用することが可能であり、実験においてはsemantic segmentation、road network centerline extraction、instance segmentationのタスクに適用し、良い精度を出した。

手法・新規性

DiscriminatorをSiamese Networkにする。2枚の画像ペアのうち、1枚はground truthであり、もう1枚はnegative sampleはGeneratorによって生成された画像もしくはground truthに摂動を加えた画像である。学習の方法自体は、通常のGANと同様に、Discriminatorはrealかfakeかを識別できるように学習し、GeneratorはDiscriminatorの識別率を下げるように学習する。

コメント・リンク集

• 論文

概要

動的に映像内容が変化する360°動画における視線推定を行った論文。まず動的に映像内容が変化する360°動画の大規模データセットを構築し、そこから視線推定には過去の視線のパスと映像内容が重要であると分析し、その上でCNNとLSTMを組み合わせて顕著性と過去の視線のパスの両方を考慮した視線推定手法を提案した。

手法・新規性

論文で対象としている動画と従来研究が使用している動画の違いとして、1) 通常の映像では受動的に動画を視聴しがちであるが、360°動画では能動的に視聴しようとする点。2) 従来の360°動画は静的な映像内容のものを扱っていた点。3) 提案手法ではHMD内に搭載可能な7invensu a-Glassを用いており、頭部の動きに加えて注視点の情報を取得している点を挙げている。データセットには音声情報もついており、360°動画における音声情報を考慮した研究も今後行っていくとのこと。

コメント・リンク集

• 論文
• Supplemental Material

概要

高解像のタスクに対して、アップサンプリングとダウンサンプリングを交互に繰り返す構造を持つDeep Back-Projection Networks（DBPN）を提案した。従来のネットワークはアップサンプリングを行う方向（feed-forward connection）しか考えておらず、それをダウンサンプリングする方向（feedback connection）を考えていなかったため、大きなスケール変化に対応できていなかった。本論文は1991年のCVGIPで発表された論文に発想を得て、アップサンプリングとダウンサンプリングを交互に繰り返す構造を取り、SoTAを達成した。

手法・新規性

DBPNはup-projection unitとdown-projection unitからなる。up-projection unitの手順は、1) 一つ前の状態の低解像度画像（LR）をスケールアップし高解像度画像（HR）を生成し、2) 次にHRをスケールダウンさせたLRを得る、3) スケールアップとスケールダウンを経て得られたLRと入力のLRの差分を計算した後、4) その差分を元に再度スケールアップをすることでHRを得る、5) 最後にこのHRと最初にスケールアップで得られたHRを足し合わせたものを最終的なHRの出力とする。down-projection unitはこの反対の操作を行う。

コメント・リンク集

• 論文
• Supplemental Material

概要

属性を階層的に選びながら画像生成できるDTLC-GANを提案．階層的な構造を課すために，我々はDTLCと呼ばれる新しいアーキテクチャを生成器入力に組み込む．DTLCとは，教師データなしまたは，最上位層の教師データだけで改装の表現を自動で発見できるアルゴリズムである．DTLC-GANをMNIST，CIFAR-10，Tiny ImageNet，3D Faces，CelebAなどのさまざまなデータセットで画像生成や画像検索のタスクの有効性を確認した．

新規性・結果・なぜ通ったか？

• アーキテクチャを階層的に使用することにより、上位層の階層に応じて下位層のコードを選択的に使用する潜在空間が得られる．
• HCMIと呼ばれる正則化により，単一のDTLC-GANモデルのみを使用して、階層的に絡み合わない表現を学習することが可能になる．
• DTANと呼ばれる新しいアーキテクチャをGANに組み込み、階層的な構造を作成する．

コメント・リンク集

• 画像検索などの他のタスクにも応用できそう
• Paper

概要

アウトライヤのあるデータについての部分空間クラスタリングでは，正則化最適化による従来法によればデータサイズに対して計算複雑性が多項式スケールで伸びる． >>>>>>> Stashed changes Omniglotの多くの条件でSOTA,miniImageNetにおいてもSOTA．

新規性・結果・なぜ通ったか？

• Memory Networkとbi-LSTMを上手く用いることで，one-shot learningにおいて，学習時と評価時とを同じ手順で行うことを実現
• One-shot learningで最もよく使われるOmniglot datasetでは98.95%から99.28%のaccuracyを達成．また，miniImageNetでは49.21%から53.57%のaccuracyを達成．

コメント・リンク集

• ネットワーク構造，学習手順ともに相当複雑なので，実際に実装して学習の様子を見てみたいところ
• 論文

概要

・ 超解像やノイズ除去などのLow-level VisionのためのDualCNNの提案・ DualCNNでは全体の構造の推定，細部の推定をそれぞれ行い超解像やノイズ除去などのタスクに応じた定式化を行い画像の生成を行う

新規性・結果・なぜ通ったか？

・従来の超解像やノイズ除去はそれぞれタスクに特化したアーキテクチャが考案されていたが，本手法では1つのネットワークで最先端の手法と同等の精度を実現

コメント・リンク集

• 論文
• Supplementary material